• 新闻

news

ESP-Mosaico 接入 Meta Muse,让个人 AI 连接物理世界

中国,上海
2026年10月26日

乐鑫基于 ESP-Mosaico 打造 Meta Muse 应用,结合 Matter Hub 与可扩展技能,探索跨设备交互与智能家居控制。

​近日,Meta 开源 Muse Gadget SDK,其中包含面向乐鑫信息科技 (688018.SH) ESP32 平台的 ESP32 Device SDK,为开发者将个人 AI 智能体 Muse 接入实体设备提供支持。

在此基础上,乐鑫基于 ESP-Mosaico 打造 Meta Muse 应用 Demo,将 Muse 的记忆、任务管理与工具使用能力,同模块化硬件的感知、交互和控制能力结合。借助 Matter Hub 与面向 Muse Home Link 的 ESP Matter Controller Skill,Muse 可查询和控制已接入 Hub 的兼容 Matter 设备,探索更贴近个人需求的智能家居体验。依托 ESP-Mosaico 的模块化扩展能力,开发者还可进一步探索跨设备交互、随身生活助手等应用,让个人 AI 融入更多日常场景。

ESP32 连接 Muse 与硬件

Meta 推出的 Muse 是一款个人 AI 智能体,能够帮助用户处理任务、推进项目,并将长期目标转化为行动计划。通过 Muse Gadget SDK,开发者可以为 Muse 连接显示屏、按键、传感器及其他外设,让个人 AI 的交互延伸到日常使用的实体设备中。

ESP32 Device SDK 基于乐鑫 ESP-IDF 开发框架构建,开源仓库提供了固件、构建说明及多款开发板的配置。开发者可以从已有实现出发,适配自己的硬件,添加显示、按键或外设功能,逐步构建可交互的 Muse 设备。根据不同开发板的硬件能力,设备可呈现 Muse 发送的图像、显示运行状态,或通过按键启动语音交互。

ESP-Mosaico + Muse:探索个人 AI 新体验

ESP-Mosaico 为 Meta Muse 提供了可扩展硬件平台。乐鑫基于该平台准备了 Muse 应用,将个人 AI 的记忆、任务管理与工具使用能力,同硬件的感知、交互和控制能力结合,探索家庭设备协作与随身生活助手等应用。

手机、电脑与 Mosaico 接入同一个 Muse,用户可跨终端延续对话、调用记忆并跟进任务。结合用户偏好、交互个性与 Skills,Muse 可以在不同设备上提供连贯、个性化的帮助。

在家庭场景中,Mosaico 可通过 ESP32-H2 扩展模块,结合乐鑫 Matter Hub on ESP-Mosaico 方案与 ESP Matter Controller Skill for Muse Home,连接兼容的 Matter 设备,探索灯光等设备的协同控制。接入传感器、红外或电机等模块后,还可扩展环境感知与执行能力,让 Muse 根据日程、偏好及环境信息提出建议,并在用户确认后执行。

在随身场景中,接入相机模块的 Mosaico 可为 Muse 提供图像输入,用于商品识别、信息查询和生活记录,将个人 AI 的能力延伸至日常交互。

通过模块化硬件与可扩展技能的结合,开发者可在同一平台上复用软硬件基础,按需拓展功能并验证新的应用。

ESP-Mosaico 与 Muse Gadget SDK 的结合,也为 AI 硬件提供了一种发展思路:让个人 AI 的记忆与任务跨设备延续,让硬件能力随场景扩展,使产品能够持续适应个人需求。

点击查看:当 Mosaico 遇到 Meta Muse 会发生...

乐鑫 SoC 支持多样设备形态

Home Link 是 Muse Gadgets 官网展示的一款 USB-C 家庭连接设备,内部采用 ESP32‑C5,支持 2.4 GHz 和 5 GHz 双频 Wi-Fi 6。配合兼容设备的本地 HTTP API 及相应的社区技能,Home Link 能够帮助 Muse 访问家庭网络中的设备,为灯光、电视等设备的交互提供连接入口

同时,乐鑫正在推进 Meta Muse 的 Matter 支持开发,为基于 ESP32 的设备添加 Matter 控制器能力,旨在让 Muse 能够发现、接入和控制兼容的 Matter 设备,进一步拓展个人 AI 在智能家居场景中的应用。

在开发者硬件方面,多款 Muse Gadgets 官网精选展示的开发板和设备均基于 ESP SoC,覆盖便携式屏幕终端、语音交互设备及电子纸显示设备:

M5Stack StickS3 采用 ESP32‑S3,配备彩色屏幕与实体按键,显示 Muse 状态和图像,通过按键启动语音交互,适合构建便携式交互终端。

Waveshare ESP32‑S3-Touch-AMOLED-1.75C 将圆形 AMOLED 触控屏与音频硬件相结合,可支持 Muse 图像显示与语音交互,让用户在交流的同时获取屏幕反馈。

Seeed reTerminal E1002 采用 ESP32‑S3,配备彩色电子纸屏,用于显示 Muse 每日简报、提醒事项和购物清单,适合作为信息显示终端。

AiPi Lite 采用 ESP32‑S3,配备彩色显示屏、实体按键与音频硬件,通过按键发起 Muse 语音对话、播放语音回复,并在屏幕上显示 Muse 图像。

ideaspark ESP32 with 1.9″ display 采用 ESP32,配备 1.9 英寸彩色屏幕,可显示 Muse 状态与图像,为 AI 交互提供直观的屏幕反馈,适合构建信息显示终端。

ESP32 凭借成熟的生态与软硬件支持,不仅是开发者构建个人 AI 硬件的默认首选,更成为连接数字 AI 与物理世界的核心桥梁。乐鑫将继续携手全球开源社区与 AI 创新力量,赋能开发者拓展 AI 硬件的边界。

分享这篇文章
  • LinkedIn
  • 微信

    微信分享

    打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮
复制此内容

lizihan

数字营销管培生

About this author ›