Token导航 LogoToken导航

边缘AI推理成本下降推动刚需场景落地

更新时间 2026-10-15来源 飞象网正文 1699字阅读约 6分钟

飞象原创(魏德龄/文)几乎每隔一段时间,业界就会迎来一个又一个新模型的出现,本地模型的快速迭代激发了边缘AI更多的可能性,以往需要云端AI来完成的代码编写、图像视频生成、数据管理等工作,如今在本地即可完成。模型能力的持续演进,也让推理成本产生了下降,不过推理需求也在成倍增长。至于未来企业AI账单的大小,就需要考量工作负载在云端与边缘的分配。但部分场景,目前已经出现了非部署在边缘不可的趋势。

边缘AI与垂直行业

如今,生成式AI与边缘计算正在对多个垂直行业产生深远影响。例如,在零售产业将经营洞察快速转化为即时行动,动态管理库存并优化促销互动;在教育行业辅助教师进行课程设计与教学计划构建;在医疗行业协助医护人员对患者进行实时监测与护理;在工业制造领域在生产线上不仅能自动标记问题,还能做到自动修正问题。

对垂直行业产生影响的背后是边缘AI并没有照搬数据中心方案,而是将生成式AI与物理AI融为一体,并催生出视觉语言模型与视觉语言动作模型这类新模型。从而构造出一个可以持续感知、推理与行动的自主系统,它可以是移动式的机器人或无人机,也可以是工厂生产线上固定不动的工业设备。

在上月举行的2026英特尔行业解决方案大会上,英特尔行业及解决方案业务部总经理王景佳表示:“AI产业的关注重点正在从模型能力扩展到部署落地。当AI进入千行百业的业务现场,实时响应、本地数据处理和稳定运行等成为企业关键需求,‘云-边-端’协同的混合AI架构也因此成为边缘AI落地的重要基础。英特尔正携手生态伙伴,把算力平台、软件工具和行业知识转化为可交付的解决方案,推动边缘AI从单点项目走向规模化部署。”

高密场景已成刚需

但对于本地化部署来说,在内存涨价的背景下,成本的综合考量依旧是企业需要面对的问题。不过,企业目前考虑的已经不再是能不能使用AI,而是AI能否进入业务流程,能否改善效率、成本、质量和用户的体验,能否从一个试点走向更大范围的复制和创新。这意味着,只要AI能够真正带来降本或者是增效,企业就愿意进行投入。

据王景佳介绍,目前一些高安全、高保密要求的场景下,企业已经开始优先考虑AI的本地部署。例如,有的企业推进的远程评标方案,需要监控整个评标过程的合规性,本身这是一个隐私场景,整个评标过程不能上云,所以一定要依赖本地进行处理。

此外,由于目前在金融行业落地了业务服务合规性审查。例如,客户经理在VIP室接待客户时,系统可以对其介绍金融产品的全过程进行审查,判断是否符合业务操作流程,是否充分、准确地进行了风险提示,以及产品讲解是否符合业务规范要求。由于这一过程涉及金融产品信息、客户隐私以及业务数据安全,尤其是金融机构自身客户的隐私保护需求,相关数据不适合上传至云端。因此,这类合规审查必须在本地完成,在保障数据隐私与安全的前提下,实现对业务服务全过程的合规性审核。

同理,在电子制造业供应链中,相关生产数据同样不能上网。另像在一些科技公司,核心算法和图形计算引擎严禁接触外网,往往通过内部部署的编程服务器来解决。

在教育领域,端侧算力对于学生隐私安全的保障作用同样不可忽视。由于学生属于未成年人,其肖像、声音及课堂表现等隐私受国家法律严格保护,合规保护教学数据是AI落地教育场景的前提。这需要所有在课堂现场采集的原始音频与视频数据,完全保留在班级本地的端侧设备中处理,不会直接上传,也不会离开班级。端侧设备利用本地算力所支撑的轻量化模型,对原始音视频进行实时预处理与分析,将其转化为脱敏后的结构化数据,并剥离掉敏感的原始画面和声音信息。而云端仅接收脱敏后的结构化数据与总结摘要,并结合班级历史学情等上下文,生成最终给教师的课堂评估报告。

目前在兼顾隐私保护和安全要求的情况下,云端方案的整体成本仍需具体评估。如果云端要达到保护客户隐私和一定安全级别,成本也是非常高的。所以对于很多企业而言,会选择自己具体的应用,然后根据具体需求来平衡哪些上云,哪些不上云。

当AI从云端走向业务现场,企业需要的已不只是更强的模型,而是更适合场景的算力部署方式。云与边缘如何协同、成本与安全如何平衡,将成为边缘AI从试点走向规模化落地的关键。

文章标签应用落地
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多