ESP32 支持运行 TensorFlow Lite Micro

8 月 28 日，TensorFlow 在官方博客中宣布 TensorFlow Lite Micro 支持在乐鑫 ESP32 上运行。

以下为博客原文：

如今，ESP32 被广泛应用于智能家居和无线连接设备及项目中，它能连接各种传感器和执行器，从而感知环境并做出相应动作。在 ESP32 上运行 TensorFlow Lite Micro 时，会出现由本地推断所触发的各种用例场景。ESP32 具有双核处理器以及卓越的功能特性，能够大大减轻运行 TF Micro 繁重的工作量。Wi-Fi 回传将有助于用户进行远程部署，并根据所做的推断触发操作。

人脸监测 / 智能门铃摄像机示例

我们将大家熟悉的人脸检测示例修改为一个智能门铃摄像机，并使用 ESP-EYE 开发板进行演示。需要注意的是，此示例运用的是人脸检测技术（在相机前检测人脸），而非身份识别。

ESP-EYE 开发板包含一个 ESP32 Wi-Fi / 蓝牙 MCU，和一个 2MP 摄像头。

演示效果

在此示例中，一旦开发板上的摄像头检测到设备附近有人，便会自动发出一封通知邮件。

操作教程

• 购买 ESP-EYE：直接点此购买，或从其他渠道购买。 另外，需要准备一根 USB 转 Micro-USB 接口的数据线，以便将 ESP-EYE 连接到 Windows/Linux/macOS 系统的主机。
• 代码仓库：https://github.com/espressif/tensorflow/
• 设置开发主机：使用 ESP32 的交叉编译工具链和实用工具来设置开发主机，按照 ESP-IDF 入门指南设置工具链和 ESP-IDF。
• 生成示例：使用以下命令 make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project
• 构建示例：
  • 访问示例项目目录：cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf
  • 使用以下命令克隆 ESP32 摄像头组件：$ git clone https://github.com/espressif/esp32-camera components/esp32-camera
  • 配置摄像头和邮箱地址：idf.py menuconfig
  • 进入 Camera Pins 和 SMTP 的配置菜单，选择 camera details 和 email details。
  • 构建示例：idf.py build
• 刷新并运行程序：使用以下命令 idf.py --port /dev/ttyUSB0 flash monitor
• 现在，每当检测到人脸时，程序就会向配置好的邮箱地址发送一封电子邮件。
  
  

了解更多

完成门铃摄像机示例后，你还可以尝试 TF Micro 的其他应用项目，例如 hello_world 和 micro_speech。

ESP32 是一款功能强大的 MCU，时钟频率可达 240 MHz。它仅用一个 CPU 内核，即可在一秒内（大约 700 ms，我们还将进一步优化性能以缩短时间）完成检测，从而释放另一个内核以自由处理应用中的其他任务。

想深入了解 TensorFlow Lite Micro，推荐您阅读《TinyML》。