ESP-WebRTC 音视频实时通信方案是乐鑫面向智能设备推出的实时通信框架。基于 ESP32 系列 SoC,方案覆盖设备端音视频采集、实时传输、远端播放与云端服务接入,帮助开发者快速构建智能门铃、视频通话、实时推流、AI 语音助手等产品形态。方案提供完整的软件组件、示例工程和开发参考,支持开发者在现有示例基础上快速验证原型,并根据产品交互、云端平台和硬件配置灵活定制,降低从技术评估到产品落地的开发门槛。

方案架构

ESP-WebRTC
ESP-Signaling ESP-Peer 媒体流 数据通道 G711A G711U OPUS H.264 MJPEG ESP-Signaling ESP-Peer 媒体流 数据通道 Reliable Unreliable Ordered Unordered ESP-Signaling ESP-Peer 媒体流 数据通道 G711A OPUS G711U H.264 MJPEG ESP-Signaling ESP-Peer 媒体流 数据通道 Reliable Unreliable Ordered Unordered
ESP-Capture ESP-Capture
AV-Render AV-Render
视频链路 音频链路 图片 摄像头 麦克风 视频处理 图层叠加 视频编码 采样率转换 通道数转换 采样深度转换 音频编码 音视频渲染 视频链路 音频链路 视频解码 视频渲染 音频解码 音频渲染 显示模块 扬声器模块 图片 摄像头 麦克风 视频链路 音频链路 色彩空间转换 采样率转换 通道数转换 图像叠加 采样深度转换 视频编码 音频编码 音视频渲染 视频链路 音频链路 视频解码 音频解码 音频渲染 视频渲染 显示模块 扬声器模块

方案优势

极低延迟

极低延迟

支持音频、视频与 Data Channel 实时传输,适用于可视对讲、远程预览与协同控制。

稳定连接

稳定连接

集成 ICE、STUN、TURN、双角色 ICE 与候选优化机制,结合 DTLS-SRTP 对媒体面进行加密与完整性保护。

广泛编解码支持

广泛编解码支持

支持 H.264、MJPEG、OPUS、G.711A、G.711U 等主流音视频编解码格式,并可同步承载业务控制与事件类消息。

轻量高效

轻量高效

采用多线程运行架构,对协议栈进行深度优化,兼顾性能、稳定性、代码体积与资源开销。

灵活信令接入

灵活信令接入

支持 OpenAI、WHIP、AppRTC、KVS、Janus 及自定义信令,便于接入云端与 AI 服务。

一站式集成

一站式集成

统一封装 Peer Connection、RTP、SCTP、信令、采集与播放能力,帮助开发者快速完成集成、验证与量产。

开发资源

开发资源

ESP-WebRTC SDK

开源的 ESP-WebRTC 方案为智能设备提供可复用的实时音视频底座,为 ESP32 系列 SoC 提供完整的实时音视频通信框架,覆盖媒体采集、对等连接、信令交互、渲染播放与示例应用,帮助开发者快速完成原型验证与产品集成。

其它资源:

联系我们