基于图为科技边缘计算机系列产品,仅用三行代码就能搞定百度飞桨AI算法的部署;让AI算法部署变得简单便捷,帮助企业加速AI方案落地进程。

人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。

为了解决AI部署落地难题,图为科技受到百度飞桨和英伟达的邀请,完成FastDeploy部署工具在边缘计算机上的验证测试。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。

以下展开介绍FastDeploy的全场景、简单易用、极致性能特性和图为科技边缘计算机的能力:

简单易用

· 多语言统一部署API,3行代码搞定模型部署

FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。。

FastDeploy中Python和C++统一部署API

· 一键体验预置150+热门模型,覆盖20多主流产业应用场景

FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。

FastDeploy 预置150多个产业SOTA模型

全场景

· 多框架支持,一行命令实现模型协议互转

接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。

FastDeploy一行代码切换多端部署

极致高效

· 软硬联合自动压缩优化,减少部署资源消耗

性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。

FastDeploy一键自动压缩,减少硬件资源消耗

· 端到端前后预处理优化,减少部署资源消耗

FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。

FastDeploy前后预处理优化,减少硬件资源消耗

图为科技边缘计算机与飞桨FastDeploy部署工具经过长时间的开发测试,现已达到完美适配轻松部署的效果。目前FastDeploy中支持的150多个AI算法全部通过了图为科技边缘计算机的验证测试,开发者拿到图为边缘计算机后可以直接进行部署应用,极大程度缩短了项目的研发周期。

图为信息科技(深圳)有限公司是一家AI边缘计算机运营服务商,专注边缘计算机的研发、生产、销售、运维等工作。目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算机,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。

图为科技最新推出的T928边缘计算机,采用NVIDIA® JETSON AGX ORIN™核心板,具备200 TOPS浮点运算能力,万兆网口、IP65防护等级、极致稳定可在-40度环境低温稳定运行;支持数据加密,16路GMSL2接口,可选4G/5G通讯模块,专为自动驾驶而设计。

边缘计算,就用图为边缘计算机!小体积,大算力,更可靠!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注