news

ESP32 支持运行 TensorFlow Lite Micro

中国,上海
2020年8月31日

本文将通过基于 ESP-EYE 开发板的人脸检测实例来演示 TensorFlow Lite Micro 如何在 ESP32 上运行。

8 月 28 日,TensorFlow 在官方博客中宣布 TensorFlow Lite Micro 支持在乐鑫 ESP32 上运行。

以下为博客原文:

如今,ESP32 被广泛应用于智能家居和无线连接设备及项目中,它能连接各种传感器和执行器,从而感知环境并做出相应动作。在 ESP32 上运行 TensorFlow Lite Micro 时,会出现由本地推断所触发的各种用例场景。ESP32 具有双核处理器以及卓越的功能特性,能够大大减轻运行 TF Micro 繁重的工作量。Wi-Fi 回传将有助于用户进行远程部署,并根据所做的推断触发操作。

人脸监测 / 智能门铃摄像机示例

我们将大家熟悉的人脸检测示例修改为一个智能门铃摄像机,并使用 ESP-EYE 开发板进行演示。需要注意的是,此示例运用的是人脸检测技术(在相机前检测人脸),而非身份识别。

ESP-EYE 开发板包含一个 ESP32 Wi-Fi / 蓝牙 MCU,和一个 2MP 摄像头。

演示效果

在此示例中,一旦开发板上的摄像头检测到设备附近有人,便会自动发出一封通知邮件。

操作教程

1. 购买 ESP-EYE:直接点此购买,或从其他渠道购买。 另外,需要准备一根 USB 转 Micro-USB 接口的数据线,以便将 ESP-EYE 连接到 Windows/Linux/macOS 系统的主机。

2. 代码仓库:https://github.com/espressif/tensorflow/

3. 设置开发主机:使用 ESP32 的交叉编译工具链和实用工具来设置开发主机,按照 ESP-IDF 入门指南设置工具链和 ESP-IDF。

4. 生成示例:使用以下命令

make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project

5. 构建示例:

a. 访问示例项目目录

cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf

b. 使用以下命令克隆 ESP32 摄像头组件

$ git clone https://github.com/espressif/esp32-camera components/esp32-camera

c. 配置摄像头和邮箱地址

idf.py menuconfig

d. 进入 Camera Pins 和 SMTP 的配置菜单,选择 camera details 和 email details。

e. 构建示例:

idf.py build

6. 刷新并运行程序:使用以下命令

idf.py --port /dev/ttyUSB0 flash monitor

 7. 现在,每当检测到人脸时,程序就会向配置好的邮箱地址发送一封电子邮件。

了解更多

完成门铃摄像机示例后,你还可以尝试 TF Micro 的其他应用项目,例如 hello_worldmicro_speech

ESP32 是一款功能强大的 MCU,时钟频率可达 240 MHz。它仅用一个 CPU 内核,即可在一秒内(大约 700 ms,我们还将进一步优化性能以缩短时间)完成检测,从而释放另一个内核以自由处理应用中的其他任务。

想深入了解 TensorFlow Lite Micro,推荐您阅读《TinyML》

分享这篇文章
复制此内容

shujiawei

About this author ›