news

ESP32-S3 支持 Plumerai 的人体检测模型

中国,上海
2023年5月8日

Plumerai 的 AI 软件能够基于 ESP32-S3 提供出色的深度学习,在低功耗硬件上完成推理。

Plumerai 成立于 2017 年,致力于在小型、低成本和低功耗硬件上实现深度学习。Plumerai 相信这是让机器学习 (ML) 在日常生活中为每个人提供帮助的有效途径。Plumerai 用于边缘设备的人体检测 AI 不仅准确度高,而且消耗资源少。

为了进一步优化 AI 软件,Plumerai 将其与乐鑫 ESP32-S3 进行了结合。ESP32-S3 是一款具有强大 AI 运算能力和可靠安全机制的 SoC,专为 AIoT 应用设计。在 ESP32-S3 的帮助下,Plumerai 的 AI 软件能够提供出色的深度学习,并在低功耗硬件上完成推理。Plumerai 的人体检测模型经过了 3000 多万张图片的训练,能够仅用一个核心在 166kB RAM 下,以每秒 3.3 帧的速度运行,可以在距离超过 65 英尺(≈20 米)时,检测出多达 20 个人。基于 ESP32-S3 的第二个内核可用于处理其他任务(应用于各种日常生活场景)。例如,基于 ESP32-S3 的微型智能家居摄像机会给您发送有人进入房子的通知;当人们到家时,灯光、空调会自动打开;交通信号灯可实时检测路口处的行人。

Plumerai 的人体检测软件在室内、室外、昏暗光线、甚至移动背景下都能运作。Plumerai 模型完全在边缘运行,所有计算都在 ESP32-S3 上执行,省去了高额的云计算费用。更重要的是无需联网,捕捉到的图像会留存在设备中,增强了可靠性和隐私性。

乐鑫 ESP32-S3 搭载 Xtensa® 32 位 LX7 双核处理器,主频高达 240 MHz,内置 512 KB SRAM (TCM)。ESP32-S3 还集成了 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE),支持远距离模式 (Long Range)。Plumerai 利用 ESP32-S3 中的自定义向量指令 (Custom Vector Instructions) 有效优化了人体检测软件,使其与使用标准的 CPU 指令集相比,运行速度显著提高。

这是一个可以在 ESP32-S3-EYE 开发板上运行的 Demo(联系 Plumerai 获取访问权限,访问 Plumerai 文档了解使用方法)。ESP32-S3-EYE 集成了一个 200 万像素的摄像头和一个 LCD 显示屏,能够显示人的位置和时间的实时画面。若您对 ESP32-S3-EYE 开发板感兴趣,请点此购买,或与我们的客户支持团队联系。此外,Plumerai 的人体检测软件需要从 Plumerai 获得许可。

分享这篇文章
  • LinkedIn
  • 微信

    微信分享

    打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮
复制此内容

intern1

About this author ›