查看原文
其他

都说视频智能分析落地难,但是这次有了大模型!

YZ、LYL、JX 百度智能云技术站
2024-09-11

百度智能云边缘计算团队成功地将大模型、业务场景、边缘设备进行融合,使得边缘服务器 ECS 上的算子具备了「场景自适应能力」,并实现了「采集 - 清洗 - 标注 - 训练 - 部署 - 迭代」全流程的自动化。

在视频智能分析场景中,研发人员使用少量业务现场收集的数据,就可以在短时间内研发出满足业务需要的算子,实现项目的冷启动。已经部署在边缘服务器 ECS 中的算子,能够随着时间推移实现自我进化,始终保持业务的最佳效果。在大模型的加持下,基于边缘服务器 ECS 建设的视频智能分析项目,落地时间从过去数周缩短为数天,乃至更短。

除此之外,大模型还为管理者提供了「超级经营助手」,对边缘服务器 ECS 收集到的业务数据进行智能分析并提供经验建议。


- 01 -

在日常生活和企业经营中,使用 AI 视觉进行视频智能分析已经变得随处可见。在每一家零售门店,每一条生产流水线,每一处建筑工地,每一个港口码头……都能见到摄像头的身影。

同时,每一位勇于创新的技术负责人正在尝试将更多业务引入 AI 视觉的能力,以实现更大范围的智能化管理。这些建设成果将能够切实的提升企业管理效率和业务竞争力。

AI 视觉在很多业务方向已经获得了显著的成果。但是这些看上去似乎理所当然的事物,即使在智能化已经如此普遍的今天,为了确保项目成功落地,技术负责人仍然面临着诸多挑战。

- 02 -

摄像头具备的 AI 视觉能力源自于部署在边缘设备上的算子,它的性能将直接影响业务表现。

在算子研发阶段,需要技术人员花上数个月时间,对大量的数据进行处理,并完成算子训练等工作。为了满足精度和可靠性的要求,还需要对算子进行反复迭代。在这个过程中,研发的周期和成本可能会远超预期,甚至是算子效果始终无法达标。如果是一个新型业务,则场景数据的采集和算子的定制均需要从零开始,相比有现成算子的传统业务,项目风险会大幅提升。

即使算子成功上线,这并不意味着项目已经结束,而只是下一个挑战的开始。

在持续经营的过程中,业务产生的新数据可能使得算子效果不断降低,这将导致项目无法满足业务需要。此时需要研发人员及时介入,使用这些新数据再次进行算子训练与针对性调优。除此之外,如果在同一需求场景中,各个业务现场的实际情况差别比较大,比如零售场景下的各个连锁门店的光照条件、摄像头角度、现场环境等因素,则之前进行统一训练的算子无法针对每一个业务现场做到性能最优。

在每一个视频智能分析的项目中,这些都是技术负责人和团队全程都会面临的风险。

- 03 -

相比于传统的 AI 模型,大模型有着优异的效果泛化能力,只需要少量数据就可以训练出具备良好效果的算子,满足各类应用场景的要求。这可以有效解决数据处理、算子研发、运维管理中遇到的各项挑战。

不过,大模型如何才能和算力有限的智能摄像头、边缘服务器 ECS 等边缘设备结合,在技术和工程上还需要进行更多探索和努力。

- 04 -

百度智能云边缘计算团队,基于丰富的边缘业务实践和领先的大模型技术,成功完成了两者的融合,使得算子具备了「场景自适应能力」,并做到了业务全流程自动化。

大模型的融入实现了视频智能分析项目的冷启动,可以生成高准召率的算子,且具备自动进化的特性。这使得技术负责人和团队免去过去时时被各种风险包围的烦恼,可以专注于推动业务创新。

边缘服务器 ECS 只需将采集的少量业务现场数据回传至中心云,利用中心云的大模型自动完成数据清洗、标注等工作,并喂给大模型进行算子训练与优化。在算子的效果贴合场景后,再推送至边缘设备进行部署。

同时,中心云的大模型可以对算子效果进行自动化地监督和优化,实现边缘侧算子的自进化,确保算子效果能够适应场景变化,始终满足业务需要。得益于大模型的支持,「采集 - 清洗 - 标注 - 训练 - 部署 - 迭代」业务全流程的自动化,可以节省大量研发和运维力量等人力投入。

不止于此,基于大模型的能力,边缘服务器 ECS 还提供了「超级经营助手」功能,可以自动归纳业务中的预警事件和经营数据,快速生成统计报表并进行智能化分析,为管理人员提供经营建议与决策辅助。

- 05 -

可以想见,借助大模型加持的边缘服务器 ECS,一个负责上千家门店的技术团队,只需要输入其所需的算法描述,就可以在短时间内为每一家门店完成算子定制,并自动部署在门店本地的边缘设备中。并且,算子还可以持续自动升级,满足业务长期运营的需要。同时,门店的管理者通过「超级经营助手」提供的智能数据分析和经营建议,就能高效率完成对所有门店的日常管理。

目前,完成了上述大模型能力升级的边缘服务器 ECS,已经在某著名大型连锁餐饮品牌的项目中投入使用。

- - - - - - - - - - END - - - - - - - - - - 

点击阅读原文,了解边缘服务器 ECS 更多内容

传送门

  1. 22H2 中国边缘公有云服务市场 Top2,百度智能云构建让智算无处不在的分布式云

  2. 构建云边端一体的分布式云架构,软硬结合驱动边缘计算创新场景

  3. 云计算进入 AI 原生时代

  4. LMOps 工具链与千帆大模型平台

  5. 千帆大模型平台最新升级:接入 Llama 2 等 33 个模型!

  6. 大模型时代的异构计算平台

  7. AI 训练加速原理解析与工程实践分享

  8. 高性能网络建设指南,《智算中心网络架构白皮书》开放下载

继续滑动看下一个
百度智能云技术站
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存