什么是AI在边缘的推断，为什么对企业很重要？

　　与传统的云AI推理相比 ，边缘的AI推断是指训练有素的机器学习（ML）模型更接近最终用户 。Edge推理加速了ML模型的响应时间
，从而在游戏，医疗保健和零售等行业中实现了实时AI应用程序
。 　　边缘的AI推断是什么？ 　　在我们专门查看AI推论之前 ，它值得了解AI推断的一般情况。在AI/ML开发生命周期中，推理是训练有素的ML模型对新的
，以前看不见的数据执行任务，例如做出预测或生成内容 。当最终用户与应用程序中嵌入的ML模型直接交互时 ，AI推断就会发生。例如
，当用户输入提示chatgpt并获得响应的提示时，chatgpt是“思考 ”的时间是在推理发生时 ，输出是该推论的结果
。 　　边缘的AI推断是AI推理的子集
，ML模型在接近最终用户的服务器上运行；例如，在同一地区甚至同一城市。这种接近度减少了与毫秒毫秒的延迟 ，以获得更快的模型响应
，这对图像识别，欺诈检测或游戏地图生成等实时应用非常有益 。 　　你可能喜欢 　　将AI带到边缘 ，以获取较小
，更聪明且更安全的应用程序 　　什么是云计算的边缘本地应用程序？ 　　解锁Ai＆rsquo的变革性潜力 　　Seva Vaynersocial Links导航 　　GCore的Edge Cloud和AI产品总监
。 　　边缘的AI推断与边缘AI的关系 　　边缘的AI推断是边缘AI的子集。Edge AI涉及处理数据并将ML模型运行更接近数据源，而不是在云中 。Edge AI包括与边缘AI计算相关的所有内容 ，从边缘服务器（Metro Edge）到IoT设备和电信基站（FAR EDGE）
。Edge AI还包括边缘训练，而不仅仅是推理。在本文中
，我们将专注于AI推断Edge服务器 。 　　边缘的推理与云推理相比如何 　　使用Cloud AI推断，您可以在远程云服务器上运行ML模型 ，然后在云中发送和处理用户数据
。在这种情况下
，最终用户可以与来自不同地区，国家甚至大陆的模型进行交互。结果 ，云推断潜伏期范围从数百毫秒到秒 。这种类型的AI推理适用于不需要本地数据处理或低延迟的应用
，例如Chatgpt，Dall-E和其他流行的Genai工具
。边缘推理以两种相关的方式有所不同：推理发生在更接近最终用户的较近 　　边缘的AI推断如何工作 　　边缘的AI推断依赖于具有两个主要体系结构组件的IT基础架构：一个低延迟网络和由AI芯片供电的服务器。如果您需要可伸缩的AI推理来处理升线峰值 ，则还需要一个容器编排服务
，例如Kubernetes；这将在Edge服务器上运行，并使您的ML型号可以快速自动地上下扩展 。如今 ，只有少数提供商拥有基础架构
，可以在满足这些要求的优势上提供全球AI推断。 　　低延迟网络：在边缘提供AI推理的提供商应具有服务器所在的位置的边缘点（POP）的分布式网络
。pop的边缘越快，网络往返时间越快 ，这意味着最终用户的ML模型响应速度越快。提供商应拥有数十个＆Mdash;甚至数百个POPS的POPS，并应提供智能路由
，该路由将用户请求路由到最接近的边缘服务器，以有效 ，有效地使用全球分布式网络 。 　　你是专业人士吗？订阅我们的新闻通讯 　　注册techradar Pro新闻通讯
，以获取您的业务成功所需的所有首选，意见 ，功能和指导！取得成功！请与我联系我们的其他未来品牌的新闻
，并代表我们值得信赖的合作伙伴或Sponsorsby提交您的信息，您同意您同意的条款和隐私政策 ，并年龄在16岁或超过16岁之间
。 　　使用AI加速器的服务器：为了减少计算时间
，您需要在服务器或由AI加速器供电的服务器或VM上运行ML模型，例如NVIDIA GPU。有专门为AI推理设计的GPU 。例如 ，最新型号之一NVIDIA L40S的推理性能比A100和H100 GPU的推理性能快5倍
，该型号主要用于训练大型ML模型，但也用于推理
。NVIDIA L40S GPU目前是执行AI推理的最佳AI加速器。 　　容器编排：在容器中部署ML模型使模型可扩展且便携 。提供商可以代表您管理基础容器编排工具
。在该设置中 ，希望将模型集成到应用程序中的ML工程师只需将容器映像与ML模型上传，并获得现成的ML模型端点。当发生负载尖峰时
，带有ML型号的容器将自动扩展，然后在负载下降时向下缩小 。 　　AI推断优势的关键好处 　　Edge的AI推断在行业或用例中提供了三个关键好处：低潜伏期 ，安全性和主权和成本效率
。 　　低潜伏期 　　网络延迟越低
，您的模型响应越快。如果提供商的平均网络延迟低于50毫秒，则适用于大多数需要近乎响应的应用程序 。相比之下 ，云潜伏期可以高达几百毫秒
，具体取决于您相对于云服务器的位置。对于最终用户来说，这是一个显着的差异 ，云潜伏期可能会导致沮丧
，因为最终用户正在等待其AI响应
。 　　请记住，低延迟网络仅说明数据的旅行时间。50 ms的网络延迟并不意味着用户将在50 ms内获得AI输出；您需要添加ML模型执行推理所花费的时间 。ML模型处理时间取决于所使用的模型 ，并可能解释了最终用户的大部分处理时间
。这是确保您使用低延迟网络的更多理由
，因此您的用户可以获得最佳的响应时间，而ML模型开发人员继续提高模型推理速度。 　　安全和主权 　　将数据保持在边缘的含义 ，这意味着用户本地化的内容简化了对当地法律和法规的遵守，例如GDPR及其在其他国家 /地区的等价物 。边缘推理提供商应设置其推理基础架构以遵守当地法律
，以确保您和您的用户得到适当的保护
。 　　边缘推理还增加了最终用户的机密性和隐私性。数据是因为它在本地进行了处理，而不是发送到远程云服务器 。这样可以降低攻击表面 ，并最大程度地减少传输过程中数据暴露的风险
。 　　成本效率 　　通常
，提供商仅对ML模型使用的计算资源收费。这以及精心配置的自动执行时间表可以显着降低推理成本 。谁应该在边缘使用AI推断？ 　　以下是一些常见的方案，其中的推理将是最佳选择：低延迟对您的应用程序和用户至关重要
。从面部识别到贸易分析的广泛实时应用需要较低的延迟。边缘推理提供了最低的延迟推理选项 。您的用户群分布在多个地理位置。在这种情况下 ，您需要提供相同的用户体验
，这意味着与所有用户相同的低延迟＆Mdash;无论其位置如何
。这需要一个全球分布的边缘网络。您不想处理基础架构维护 。如果支持云和人工智能基础架构不是您核心业务的一部分，则可能值得将这些过程委派给有经验的专家合作伙伴
。然后 ，您可以将资源集中在开发应用程序上。在这种情况下
，您需要尽可能靠近最终用户进行AI推论 。全球分布式的边缘网络可以满足这一需求，而云不太可能提供您需要的分销程度
。 　　哪些行业受益于AI在边缘的推论？ 　　EDGE的AI推断会使使用AI/ML的任何行业都受益 ，尤其是那些开发实时应用程序的行业。在技​​术领域
，这将包括生成的AI应用程序，聊天机器人和虚拟助手 ，数据增强和软件工程师的AI工具 。在游戏中，这将是AI内容和地图生成
，实时播放器分析以及实时AI机器人自定义和对话
。对于零售市场，典型的应用程序将是智能的杂货店 ，并具有自我结帐和销售
，虚拟的尝试以及内容的生成，预测和建议。 　　在制造中 ，好处是生产管道
，VR/VX应用程序和快速响应反馈的实时缺陷检测，而在媒体和娱乐行业中 ，将是内容分析
，实时翻译和自动转录 。开发实时应用程序的另一个领域是汽车，对于自动驾驶汽车 ，车辆个性化
，高级驾驶员帮助和实时交通更新特别快速响应
。 　　结论 　　对于希望部署实时应用程序的组织，Edge的AI推断是其基础架构的重要组成部分。它大大降低了潜伏期 ，从而确保了超快速响应时间 。对于最终用户而言，这意味着一种无缝
，更具吸引力的体验，无论是玩在线游戏 ，使用聊天机器人还是通过虚拟试用服务在线购物。增强的数据安全意味着企业可以在保护用户数据的同时提供卓越的AI服务
。边缘的AI推断是大规模AI/ML生产部署的关键推动力
，推动了许多行业的AI/ML创新和效率。 　　我们列出了最好的裸金属托管 。 　　本文是Techradarpro的专家见解频道的一部分，在该频道中 ，我们以当今技术行业的最佳和最聪明的头脑为特色
。这里表达的观点是作者的观点
，不一定是Techradarpro或Future Plc的观点。如果您有兴趣在此处了解更多信息：https：//www.techradar.com/news/submit-your-story-story-totor-to-to-techradar-pro