AI guides

乐鑫龙虾 ESP-Claw 来了!聊天就能开发智能设备

By 乐鑫朋友圈5 viewsSource: 乐鑫朋友圈
乐鑫龙虾 ESP-Claw 来了!聊天就能开发智能设备

乐鑫信息科技 (688018.SH) 正式推出 ESP-Claw —— 以 Chat Coding(聊天造物)为核心的 AI 智能体框架。它突破了编程边界,让人人都能通过对话定义智能设备。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

  • 对话定义设备行为:通过 Chat Coding 实现智能设备的快速搭建;
  • 设备端智能闭环:在本地完成感知、推理、决策与执行;
  • 灵活与稳定兼顾:LLM 动态决策结合本地规则,确保关键任务可控执行;
  • 本地记忆长期学习:设备实现结构化记忆与持续学习,隐私不上云。

乐鑫信息科技 (688018.SH) 正式推出 ESP-Claw —— 以 Chat Coding(聊天造物)为核心的 AI 智能体框架。它突破了编程边界,让人人都能通过对话定义智能设备。

传统物联网设备至今仍处于被动执行阶段:能联网,却不能思考;能执行,却不能决策;能记录,却不能学习。设备高度依赖云端,且难以实现自然的实时交互。

而 ESP-Claw 打破了“AI 必须依赖高算力服务器”的局限,将 Agent Runtime 下沉至边缘芯片,使设备在本地实现感知、推理与决策的完整闭环,推动物联网设备迈向“自主智能决策”。

文章配图

ESP-Claw 使设备在本地实现感知、推理与决策的完整闭环

ESP-CLAW四大核心能力

如果说 OpenClaw 是运行在 PC 和服务器上的 AI 智能体网关——通过 IM 聊天连接用户、调度大模型、管理工具与记忆,那么 ESP-Claw 所要解决的是:如何将这套能力从 PC 环境延伸到实体物理世界。面对边缘设备的资源约束、实时性要求和隐私敏感性,ESP-Claw 给出了四项核心设计:

01 聊天即造物

LLM 动态决策 + Lua 确定性规则

ESP-Claw 将 LLM 引入 IoT,让 DIY 不再是程序员的专利。借助 Lua 动态加载 + IM 聊天交互,普通用户可以通过自然语言直接定义设备行为。

使用场景:

  • 无需编程,AI 生成驱动代码:普通用户使用聊天软件发送需求,即可自动生成对应驱动代码;

文章配图

文章配图

文章配图

聊天驱动不同硬件

  • 同一硬件,多种功能:同一设备可根据需求切换不同功能,如一条灯带即可实现天气灯、氛围灯或夜灯等不同模式的转换;

文章配图

文章配图

文章配图

聊天切换不同模式

  • 复杂应用组合:多个外设可组合形成更复杂的应用,如利用屏幕、按键、灯带、摄像头等实现游戏机、音乐播放器等功能。

文章配图

文章配图

多种 DIY 游戏场景

以上体现了 LLM 动态决策的灵活性。但在 IoT 场景中,关键操作(如报警联动)必须稳定可控,不能依赖实时生成。因此,ESP-Claw 引入 Lua 确定性规则,LLM 生成的逻辑在验证后可固化为本地规则,确保在离线或模型变更情况下仍能稳定运行。

02 毫秒级响应

事件驱动,主动感知

传统模式依赖轮询或指令触发,而 AIoT 中的大量场景天然由事件驱动,例如门磁触发、人体检测或温度突变。ESP-Claw 采用事件驱动架构:设备主动上报事件,由本地事件总线触发处理逻辑。对于高实时性需求,通过本地规则直接执行,实现毫秒级响应,断网亦可独立运行。

文章配图

对于高实时性需求可通过本地规则执行

在此基础上,当本地没有匹配的 Lua 规则时,Agent 会自动调用 LLM 进行分析判断;而当任务超出本地算力范围(如音视频分析、图像识别),Agent 还能自动将数据上传给云端大模型进行深度处理,再将结果返回给用户——实现云边协同。

文章配图

设备主动上报事件

以摄像头场景为例,设备通过 PIR 或帧差法持续检测画面变化,触发拍照并上传云端模型识别对象类型。如果判定为人员入侵,Agent 通过 IM 即时通知用户并附上抓拍照片;若为动物,则静默同时,系统可基于历史事件进行总结,例如:“过去 3 小时过滤了 4 次动物事件,刚检测到一次人员移动。”

文章配图

Agent 通过 IM 即时通知用户

03 即插即用

MCP 协议统一设备与 AI

MCP (Model Context Protocol) 为 AI Agent 与物理世界之间建立了一套标准化的语义接口。它带来了三个根本性转变:

  • 设备接入:设备从"逐一适配"变为"即插即用";
  • AI 推理:AI 从"单指令执行"释放为"跨设备多步编排";
  • 生态关系:不同 Agent 和设备能够使用同一套协议对话。

ESP-Claw 设备具备 MCP Server 和 MCP Client 双重身份——既能被外部 Agent 调用,也能主动调用外部服务,实现真正的双向互联。

  • MCP Server(设备端):ESP-Claw 设备作为 MCP Server,将传感器读取、执行器控制等硬件能力封装为标准 MCP Tool,任何支持 MCP 的 Agent(如 OpenClaw、Claude、Codex)均可直接调用。例如,Claude Code 可以调用开发板上的摄像头拍照识别硬件,或将代码编译进度实时显示在设备屏幕上;

文章配图

ESP-Claw 设备作为 MCP Server

  • MCP Client(调用端):ESP-Claw 设备同时作为 MCP Client,可以主动调用网络上任何 MCP Server 暴露的服务——不仅是其他 IoT 设备,还包括 PC 端和云端的软件能力。例如,设备可以调用地图软件查询实时路况,或调用聊天软件发送会议提醒——设备从被动的“执行端”变成了能主动获取信息和调度服务的“智能节点”。

文章配图

ESP-Claw 设备同时作为 MCP Client

04 设备也有记忆、能学习

本地学习,隐私不上云

ESP-Claw 在设备本地实现了一套完整的结构化长期记忆系统。用户偏好、行为习惯与关键事件等私密信息均保存在本地,无需上传云端。同时,系统可自动提取高价值信息,包括:用户显式指令(如“记住这个”)、对话中的偏好与事实,以及重要设备事件(如异常报警或状态变化)。

文章配图

私密信息均保存在本地

为了适配 MCU 的资源限制,ESP-Claw 引入“摘要标签”机制:对话过程中仅加载轻量级标签目录(如“饮食偏好”“设备状态”“作息规律”),在需要时再通过标签精确召回对应的记忆正文,从而在有限资源下实现高效检索。同时,记忆系统具备自动归并、淘汰与压缩能力,持续优化存储结构。这使设备不再只是记录数据,而是能够基于长期行为进行学习与演进,逐步形成个性化的智能响应能力。

文章配图

记忆系统持续学习与演进

ESP-CLAW快速上手

ESP-Claw 现已开源!目前该框架已支持 ESP32-S3、ESP32-C5、ESP32-P4 等芯片,只需一块 DevKitC(入门级开发板)即可开始体验,根据场景需要自由拓展外部传感器和执行器。

  1. 浏览器一键刷固件:通过浏览器将固件刷入 ESP32 芯片——无需编程或安装额外开发工具,网页版刷写工具会引导开发者选择对应的芯片型号。
  2. IM 聊天即控制:无需安装新 App,可直接使用已有聊天软件控制设备,做到自由切换模型供应商,不依赖任何封闭生态或私有云。

文章配图

IM 控制流程示意图

欢迎查看 ESP-Claw 开源工程及详细文档,加入乐鑫社区一起探索 AI 原生 IoT 的无限可能!

文章来自于"乐鑫朋友圈",作者 "乐鑫朋友圈"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)