外观
语音与 AI
ESP32-S3 带向量指令和 PSRAM 支持，加上麦克风和扬声器，就能做出「喊一声唤醒、云端或本地大模型回答」的设备。适合想做智能音箱、桌面 AI 伙伴或本地语音控制的玩家。
这是什么玩法
ESP32 通常不负责完整的语音识别和大模型推理，而是做「终端」：采集声音、检测唤醒词、把音频送到服务器，播放回复。主要有三种形态：
| 形态 | 核心 | 说明 |
|---|---|---|
| HA 语音卫星 | Home Assistant Assist | 设备本地检测唤醒词，语音识别和对话在 HA 或云端完成 |
| 小智 AI | xiaozhi-esp32 + 云端或自建服务 | 多种开发板可用的 AI 对话机器人，支持中文 |
| 端侧推理 | ESP-SR、TinyML | 离线唤醒词和命令词、关键词识别、简单分类 |
典型硬件
- Home Assistant Voice Preview Edition：Nabu Casa 出品，基于 ESP32-S3，另有 XMOS XU316 芯片做回声消除和降噪，双麦克风，物理静音开关，固件开源。官方说明开箱即用接入 Home Assistant。
- ESP32-S3-BOX-3：乐鑫官方带屏的 AI 开发套件，常被用来跑 HA 语音卫星或小智。
- M5Stack 系列：AtomS3R 配 Atom Echo（带麦克风和扬声器的小方块）。
- SenseCAP Watcher：Seeed 的小型 AI 感知设备。
- DIY：ESP32-S3 加 INMP441 之类的 I2S 数字麦克风、MAX98357A 功放和一个小喇叭，成本较低，但没有 XMOS 这类音频前端，远场效果差一些。
软件与项目
- ESPHome 的
voice_assistant、micro_wake_word组件：官方 Voice PE 仓库里有可复用的配置，微唤醒词 (microWakeWord) 由 Home Assistant 项目在 2024 年 2 月随 Voice Chapter 6 推出，可在 ESP32-S3 上本地运行。 - 小智 AI：开源项目 xiaozhi-esp32，大量开发板已适配，官方云服务 xiaozhi.me 可用，也有第三方自建服务端。使用云服务时，你的语音数据会发送到服务端，请阅读其隐私政策。
- ESP-SR：乐鑫的语音识别库，包含 WakeNet（唤醒词）、MultiNet（命令词）、AFE（回声消除、降噪等音频前端），见 乐鑫官方方案。自定义唤醒词有官方定制流程，免费预置词表有限。
- ESP-IDF：自己开发 AI 终端时的主要环境。
入门路径
- 已有 Home Assistant：买一台 Voice PE，或用 S3-BOX-3 刷 ESPHome 配置，先体验「唤醒词、语音转文字、对话、播放」流程。
- 只想玩 AI 对话：选一块小智已适配的板子，按项目文档刷固件，在 xiaozhi.me 绑定设备。
- 想全本地：在 HA 里部署本地语音识别和语音合成（如 Whisper、Piper 这类开源组件，请以 HA 官方文档为准），再接本地大模型。
- 想学原理：看 ESP-SR 的示例，体验离线命令词。
进阶方向
- 本地大模型：在局域网内的 PC 或 NAS 上跑模型，ESP32 只当终端，延迟取决于服务器性能。
- 自定义唤醒词：microWakeWord 允许训练自己的模型，需要一定的机器学习流程。
- 角色形象：给小智加屏幕表情，做桌面伙伴，见 机器人。
- TinyML：TensorFlow Lite Micro 加乐鑫的 ESP-DL，用来做关键词识别、手势、简单视觉任务，见 摄像头。
- 多轮对话与工具调用：自建服务端接大模型接口，让设备能控制 HA。
注意事项
隐私与网络暴露
影响范围：带麦克风的设备一旦被入侵或配置不当，可能把环境声音发送给第三方；自建服务端如果暴露到公网，可能被滥用或产生模型调用费用。
前置条件：使用云端 AI 服务前，确认服务条款和数据保留策略；自建服务端只在局域网使用，对外开放时必须有鉴权；设备优先选带物理静音开关的方案。
回退：在云平台删除设备绑定，重新刷写固件，必要时更换 API 密钥。
- 云服务的可用性、免费额度和功能可能随时变化，本文不保证 xiaozhi.me 的具体条款，请以其官网为准。
- 小喇叭功放要考虑供电，音量大时电流瞬时升高，USB 供电不稳会导致重启。
- 唤醒词误触发和漏触发需要调阈值，家里有电视或音箱时更明显。