ESP32 + AI 能做什么？我调研了整个生态，给出保姆级种草指南！

Embedded content is available in the original post.

我在完全没有硬件知识的情况下用 AI 配合 ESP32 硬件做出了好几套功能。手里这张带小屏幕的 AI Passport 卡片，是 trae 大会的签到礼品。

Muse 固件：由 Claude Code 统筹 Grok Build 和 Codex CLI 移植，新固件已成功在设备上运行起来。
豆姐形象：顺便把卡片界面做成了豆姐形象，重新设定了三个物理按键的逻辑，长按按键就能录音，发给 Muse 的主会话执行。
滑动变祖器：实体版配合梁文峰与梁文谷的检测逻辑，结合小米音色完成语音播报，我和 Claude Opus 5.5 对话两次，大概 45 分钟就成了。
Claude 封号检测仪：顺手做的一个恶搞项目，不管是乱点邮件、IP 变动、领鸡蛋还是中文环境，触发事件后直接弹出封号判定。

做完这几个项目后，我打算把 Grok Bot 形象与动态交互完整迁移到卡片上：表情在屏幕上动起来，按住按键实时录音，松开立刻把语音发出去。

卡片的性能瓶颈

在做 Grok Bot 固件的时候，设备表现得非常卡。AI Passport 使用的核心芯片是 ESP32-C3，主频最高 160MHz，板载 8MB 闪存。

ESP32-C3 单核：单核 RISC-V 架构芯片，根本无法在维持网络传输和音频采集的同时顾及屏幕图形刷新。
没有配备外部 PSRAM：内部可用空间紧张，分配完底层网络协议栈与音频缓冲区后，留给图形界面的内存所剩无几。
录音画面卡死：按下按键开始录音，屏幕画面瞬间定格，整个程序直接卡死。

ESP32-C3 主频最高 160MHz，单核，没有外部 PSRAM。配置太低，很多好玩的功能做不了。

卡在这个性能瓶颈上，我决定走出卡片，把整个 ESP32 生态看一遍。

ESP32 + AI 能做什么

玩硬件并不需要精通电路设计，现在的玩法早就彻底变了。大模型本身运行在云端或者局域网服务器上，并不需要微控制器直接承担庞大的模型推理。

微控制器真正擅长的，是充当 AI 在物理世界里的眼睛与耳朵，以及嘴巴和身体：负责本地语音唤醒与音频采集，同时驱动屏幕表情并控制电机转动。

小智 AI

专为嵌入式硬件打造的 AI 聊天机器人固件。设备只负责低延迟录音、音频播放与屏幕表情渲染，庞大的语言模型完全交由云端处理。

小智 AI 目前已经支持超过 70 种开源硬件方案，立创实战派、微雪开发板或成品智能终端都能直接刷入。整套硬件花费在 100 元以内，就能在桌面上搭建出一台随时畅聊的实体语音伴侣。

StackChan

源自社区开源作品 Stack-chan，由 M5Stack 与社区共同完善成型。它使用一块带屏幕的微控制器充当面部，两颗小型舵机负责带动头部做出仰头与环视动作。

它能转头、点头，配上屏幕上的表情特别有活物感。固件、App 和硬件资料全部开源，放在显示器旁就像活在现实世界里的数字宠物。

SenseCAP Watcher

Seeed 推出的物理 AI 代理终端。在双核微控制器的基础上额外配了一颗 Himax AI 视觉芯片，自带圆形触摸屏、摄像头与音频接口，能通过视觉主动判断用户出现并瞬间唤醒。

它基于 MCP 可以扩展，也能接入 Home Assistant。做出这样惊艳的 AI 交互，并不一定必须依靠高端双核芯片。

ESP-Hi 机器狗

乐鑫官方开源的 ESP-Hi 机器狗项目。拥有灵动四肢和表情屏幕，核心主控居然是一颗超低成本的 ESP32-C3，和我手上频繁卡死的那张卡片是同一颗芯片。

开发团队把底层驱动和内存管理优化到了极限，在资源受限的情况下同时跑起唤醒词检测和多种外设驱动。支持接入小智 AI 平台，硬件、3D 结构和固件均已开源。

更多玩法

Home Assistant Voice Preview Edition 专为家庭语音交互设计，核心采用双核微控制器配合独立音频降噪芯片，出厂预装开源固件，语音交由本地 Home Assistant 主机处理。

M5Stack 推出的 CoreS3 将彩色触摸屏、摄像头，连同双麦克风和扬声器完整封装在精致方盒内，开箱即用，插上数据线就能直接编写高层逻辑。

开源的 SmartKnob 旋钮项目用无刷电机配合角度检测，完全靠软件生成卡位、阻尼和限位的手感。

开源的 WLED 固件让数字灯带变成空间画布。有玩家将其与蓝牙电子骰子联动，掷出骰子的瞬间，灯光会随着点数变化爆发绚丽动态光效。

开源的 Retro-Go 固件能让微控制器运行 GB、GBC、NES 等经典平台，带菜单、存档和 Wi-Fi 文件管理，无需装 Linux（SNES 这类会比较慢，不是所有游戏都流畅）。

乐鑫官方 ESP-Drone 开源项目支持 ESP32、S2 和 S3，微控制器承担实时飞行控制，用 Wi-Fi 连手机 App 或手柄就能飞。

Meshtastic 项目利用微控制器外接长距离低功耗无线电模块（LoRa 为外接模块，非自带），组成不依赖互联网的网状网络互发文字，部分设备还带 GPS。

商业领域也已广泛落地：Shelly 智能通断器嵌入墙壁开关常年运行；HoSmart 则用其同时承担主控运算与云端数据传输实现量产。只要找对硬件基础，想法很快就能变成实体。

为什么硬件规格这么重要

卡片卡死之后我才搞懂，C3 是单核、最高 160MHz，S3 是双核、最高 240MHz 且原生支持外部 PSRAM，带屏又要录音的玩法，差距就在这里。

选芯片看什么

双核处理器分工协作：一个核心专跑高优先级音频采集与外设交互，另一个核心处理网络协议栈与云端通信，告别单核抢占导致的卡顿。
大容量外部 PSRAM 内存：高清彩屏双缓冲图形渲染与音频切片极其消耗内存，数兆字节独立扩展内存能让界面与音频自由呼吸。
原生音视频交互接口：拥有高速显示接口与硬件级音频数字通信通道，免去额外搭建复杂转换外设电路。
成熟健壮的软硬件生态：拥有持续维护的开发框架与丰富社区驱动库，无需从零手写底层寄存器驱动。

三颗主力芯片

ESP32-C3：单核 RISC-V 架构，最高 160MHz，支持 2.4GHz Wi-Fi 与低功耗蓝牙。适合极低成本插座开关与传感器数据采集。
ESP32-S3：双核 Xtensa 架构，最高 240MHz，原生支持大容量外部 PSRAM。适合打造音频交互、带屏面板与边缘视觉识别。
ESP32-P4：双核 RISC-V 架构，主频高达 400MHz，专为高算力多媒体设计。支持高速高清摄像头接口，适合复杂图形渲染与边缘计算。

发展时间线

2008 年：乐鑫在上海正式成立，专注于无线通信与芯片研发方向。
2013 年：推出 ESP8089 芯片，面向平板电脑与机顶盒的 Wi-Fi 连接需求。
2014 年：推出传奇的 ESP8266EX 芯片，以极具竞争力的成本彻底打平物联网设备的联网门槛。
2016 年：正式发布初代双核 ESP32，确立了 ESP-IDF 软件开发体系的基石。
2019 至 2020 年：量产推出 ESP32-S2，加入原生 USB 支持，主打基础扩展连接。
2020 年：发布 ESP32-C3，主力架构转向开源 RISC-V，专注于成本敏感型联网应用。
2020 至 2021 年：量产推出 ESP32-S3，引入双核架构、AI 向量指令与扩展内存支持，全面强化音视频交互。
2021 年：先后公开 ESP32-C6 与 H2，引入 Wi-Fi 6 与新型低功耗互联通信协议。
2022 年：公开 ESP32-C2 与 C5，推进超低成本连接与双频无线通信方案。
2023 年：正式发布 ESP32-P4，专注于高性能数字多媒体与边缘图像计算。
2024 年：发布 ESP32-C61，进一步优化经济型 Wi-Fi 6 连接并支持外接内存扩展。
2025 年：全面推进 P4、C5 与 C61 的量产落地，覆盖边缘计算与智能网关领域。
2026 年：推出 S31 与 H21 等新一代芯片，S31 采用双核 RISC-V 320MHz 架构，主打多协议无线和人机交互。

弄清楚了技术演进的来龙去脉，挑选开发板就会变得无比轻松。

新手想入手怎么办：保姆级挑选指南

现在的门槛已被 AI 工具彻底踏平。滑动变祖器那个项目，我和 Claude Opus 5.5 对话两次，大概 45 分钟就做成了。交互意图说清楚，底层代码交给 AI 写。

插上一根通用的 Type-C 数据线，按照不同场景整理的代表性硬件就能直接上手。

随身带、要动作反馈：选带陀螺仪的

微雪 ESP32-S3-Touch-AMOLED-1.8：适合做随身智能腕表或体感吊坠。配备 1.8 寸 AMOLED 触摸屏与六轴姿态传感器，小智支持，大约 160 元。

M5StickS3：适合做随拿随走的迷你语音伴侣。集成双核芯片、屏幕、麦克风、扬声器和六轴姿态传感器，背部磁吸且内置锂电池，大约 150 元。

想做视觉：选带摄像头的

Seeed XIAO ESP32S3 Sense：适合做微型隐蔽视觉感知。拇指大小，集成摄像头、数字麦克风与存储卡槽，适合藏在摆件中做识别，大约 100 元。

立创·实战派 ESP32-S3：适合想找综合实验平台的新手。自带 30 万像素摄像头、两寸触摸彩色大屏与完整外壳，教程详尽且支持小智固件。
Seeed SenseCAP Watcher：适合做桌面实体 AI 助手。配双核及专用视觉芯片与圆形触摸彩屏，能主动交互且支持小智固件，大约 400 元。