ESP32-S3 做室内安防识别项目

用 ESP32-S3 打造看得懂人的室内安防系统

你有没有过这样的经历？出门前反复确认门锁，回家时却担心家里是否进了陌生人。传统的红外感应器只能告诉你“有人动了”，但无法回答最关键的那句：“是谁？”——是家人刚进门，还是可疑人员闯入？

这正是当前智能家居安防的痛点： 感知粗粒度、响应机械化、隐私风险高 。而解决之道，正在于让设备“学会看人”。

近年来，随着 TinyML（微型机器学习）和边缘 AI 的成熟，我们终于可以在一块成本不到 $5 的芯片上运行人脸识别模型。乐鑫的 ESP32-S3 就是其中的佼佼者。它不像 Jetson 那样功耗惊人，也不像普通 MCU 那样束手无策。它恰好站在性能与功耗的黄金交点上，成了 DIY 智能安防项目的“甜点级”选择。

今天，我们就来拆解如何用这块芯片，从零搭建一个真正“认得清脸”的本地化视觉安防系统。不依赖云端、不上传照片、不泄露隐私——所有判断都在你家客厅的一台小设备里完成。

---

为什么选 ESP32-S3？因为它够“聪明”也够“省电”

在动手之前，先问自己一个问题：我需要多强的算力？

如果你的目标只是检测“有没有人走动”，STM32 加个 PIR 传感器就够了；但如果你想分辨“张三来了”还是“李四溜进来了”，那就得动真格的了——你需要图像处理能力 + 轻量级 AI 推理 + 稳定联网。

这时候，ESP32-S3 的优势就冒头了：

• 双核 Xtensa LX7，主频飙到 240MHz
• 支持 SIMD 指令集，对 INT8 运算特别友好
• 内置 USB OTG，还能接标准 UVC 摄像头
• 原生支持 TensorFlow Lite Micro
• Wi-Fi/BLE 双模通信，OTA 升级毫无压力

最关键的是，它的典型工作电流只有 80mA 左右 ，深睡模式下甚至能压到 5μA ——这意味着你可以把它装在电池供电的门口节点上，几个月不用换电池。

说实话，我在最早做项目时也试过拿树莓派跑 OpenCV + FaceNet，效果确实好，但风扇嗡嗡响、功耗几十瓦、还得拉网线……完全不是“嵌入式”的感觉。直到换了 ESP32-S3，才真正体会到什么叫“安静地思考”。

---

硬件怎么搭？摄像头是第一道坎

要识别人，首先得看得见。ESP32-S3 自带 DVP 和 SPI 摄像头接口，可以直接驱动 OV2640、OV7670 这类常见 CMOS 传感器。

我推荐使用 AI-Thinker ESP32-CAM 模块 ，价格便宜（约 $6），集成 OV2640 摄像头和 FPC 座，即插即用。不过要注意几个坑：

🛠️ 引脚冲突问题必须提前规避

默认情况下，ESP32-CAM 的 SD 卡槽会占用部分 GPIO，而这些引脚恰好也是摄像头数据线。如果你既想拍照又想存图到 TF 卡，就得重新规划引脚映射，或者干脆放弃 SD 功能。

更优雅的做法是启用 PSRAM（伪静态随机存储器）。ESP32-S3 支持外扩高达 16MB 的 PSRAM，可以用来缓存整帧图像，避免频繁读写 Flash。记得在 menuconfig 中打开：

Component config → ESP32S3-Specific → Support for external RAM

然后用专用 API 分配内存：

uint8_t *img_buf = (uint8_t *)heap_caps_malloc(320 * 240 * 2, MALLOC_CAP_SPIRAM);

这样就能轻松扛住 QVGA 分辨率的 JPEG 流了。

💡 补光设计不能忽视

OV2640 在弱光环境下噪点严重，容易导致识别失败。我的做法是在 PCB 上预留一个白光 LED，由 GPIO 控制开关，在夜间拍照前自动点亮补光。

也可以调用摄像头自带的自动增益功能：

sensor_t *s = esp_camera_sensor_get();
s->set_gain_ctrl(s, 1);    // 开启自动增益
s->set_exposure_ctrl(s, 1); // 自动曝光
s->set_whitebal(s, 1);      // 白平衡

实测下来，这套组合拳能让暗光下的识别成功率提升 40% 以上。

---

模型怎么选？别再用 MobileNetV1 了！

很多人一上来就想用 MobileNet 做分类，但你要清楚：MobileNet 是为 ImageNet 设计的，有 1000 个输出类别。而在安防场景中，你只需要知道两件事：

1. 画面里有没有人脸？
2. 如果有，是不是注册用户？

所以正确的路径应该是： 先做人脸检测，再做人脸识别 。

🔍 第一步：快速定位人脸区域

推荐使用 Google 官方发布的 Ultra-Lightweight Face Detection Model 。这个模型输入尺寸仅为 96×96，输出是边界框坐标和置信度，INT8 量化后大小仅 ~180KB ，在 ESP32-S3 上推理时间控制在 300ms 内 。

部署流程如下：

1. 下载 .tflite 模型文件；
2. 使用 xxd -i model.tflite > model_array.h 转成 C 数组；
3. 在代码中 include 并加载。

xxd -i face_detect_quant.tflite > model_detect.h

生成的头文件长这样：

unsigned char g_face_detect_model_data[] = {
  0x1c, 0x00, 0x00, 0x00, 0x54, 0x46, 0x4c, 0x33, ...
};
unsigned int g_face_detect_model_data_len = 187456;

然后就可以交给 TFLM 解释器处理了。

🧠 第二步：提取特征向量进行比对

检测到人脸后，下一步是从中提取一个 128 维的特征向量（embedding） ，这就是所谓的“数字指纹”。推荐使用 FaceNet-Lite 或基于 ArcFace 微调的轻量模型。

这类模型的核心思想是：同一个人的不同照片，其 embedding 的余弦相似度应该很高；不同人的则很低。

举个例子，假设你已经注册了父亲的人脸模板：

float dad_embedding[128] = {0.12, -0.34, 0.56, ...}; // 已知模板

现在新拍了一张图，提取出当前 embedding：

float current_emb[128];
run_face_recognition(cropped_face, current_emb); // 调用模型

计算余弦相似度：

float dot = 0, norm_a = 0, norm_b = 0;
for (int i = 0; i < 128; i++) {
    dot += dad_embedding[i] * current_emb[i];
    norm_a += dad_embedding[i] * dad_embedding[i];
    norm_b += current_emb[i] * current_emb[i];
}
float similarity = dot / (sqrt(norm_a) * sqrt(norm_b));

设定阈值（比如 0.65），超过就算匹配成功。

⚠️ 提醒：不要直接比较原始向量！一定要归一化后再算点积，否则结果不可靠。

---

如何把模型塞进芯片？TensorFlow Lite Micro 实战

TFLM 不是你熟悉的 Python 版 TensorFlow。它没有动态内存分配，所有张量空间都要预先声明一个“内存池”（tensor arena）。这就要求你精确估算所需内存。

🧮 内存池到底要多大？

以 FaceNet-Lite 为例，输入 112×112×3，模型结构包含多个卷积层和全连接层。根据经验，至少需要 96KB~128KB 的连续内存用于中间张量。

我们可以这样定义：

constexpr size_t kArenaSize = 128 * 1024;  // 128KB
uint8_t tensor_arena[kArenaSize];

如果提示 kTfLiteError 或 Invoke failed ，大概率是 arena 太小了。可以用 micro_interpreter.arena_used_bytes() 查看实际用量调试。

📦 操作符注册千万别漏

TFLM 默认不会加载所有算子。你必须手动告诉它你的模型用了哪些操作：

tflite::MicroMutableOpResolver<5> resolver;
resolver.AddConv2D();
resolver.AddDepthwiseConv2D();
resolver.AddFullyConnected();
resolver.AddMaxPool2D();
resolver.AddSoftmax();
resolver.AddReshape();

少注册一个， interpreter.Invoke() 就会报错。建议先把模型丢进 Netron 工具可视化一下结构，逐层检查所需算子。

🔄 图像预处理流水线要高效

原始摄像头输出通常是 YUV 或 JPEG，而模型需要 RGB 归一化的 float 输入。这个转换过程很耗时，必须优化。

我的做法是：

1. 摄像头设为 JPEG 输出（节省带宽）
2. 用 ESP32 的 JPEG 解码库（如 TJpgDec）解压成 RGB565
3. 缩放至 112×112（双线性插值）
4. 转为 float 并归一化到 [-1,1]

关键代码片段：

// 假设 raw_rgb 是解码后的 RGB 数据
uint8_t *input = interpreter.input(0)->data.uint8;
for (int i = 0; i < 112*112*3; i++) {
    input[i] = (uint8_t)((float)raw_rgb[i] / 2.0 + 128.0); // 映射到 UINT8
}

整个流程控制在 150ms 以内 ，加上模型推理总共不到半秒，用户体验很流畅。

---

怎么降低误报？加点“人性”的判断逻辑

即使模型准确率很高，现实世界依然充满干扰：逆光、戴帽子、侧脸、小孩突然冲进镜头……

单纯依赖模型输出很容易造成误报警。因此，我在决策引擎中加入了多层过滤机制：

✅ 时间窗口去抖动

连续 3 帧都检测到“陌生人”，才触发警报。单次闪现不算数。

if (is_stranger && ++stranger_count >= 3) {
    trigger_alarm();
}

🕶️ 光照自适应判断

通过分析图像平均亮度，动态调整识别阈值。太暗时不强制识别，只记录日志。

int avg_brightness = calculate_avg_luma(yuv_frame);
if (avg_brightness < 30) {
    set_similarity_threshold(0.6);  // 更宽松
} else {
    set_similarity_threshold(0.65);
}

👀 活体检测防照片欺骗

虽然 ESP32-S3 算力有限，但我们仍可做一些简单判断：

• 眨眼检测 ：利用两个连续帧之间眼睛区域的变化；
• 头部微动 ：人在站立时会有轻微晃动，照片则静止不动；
• 颜色一致性 ：打印的照片反光特性与真人皮肤不同。

哪怕只是加入“必须连续两帧位置变化”这一条规则，也能有效防止拿手机照片骗开门的情况。

---

功耗怎么控？让设备“该睡就睡”

永远在线的摄像头等于持续耗电。对于电池供电设备，我们必须学会“节能哲学”。

我的策略是： 平时睡觉，有人再来醒

具体实现：

1. 使用 PIR 热释电传感器作为前置触发器；
2. ESP32-S3 处于 Deep-sleep 模式，功耗 <10μA；
3. 当 PIR 检测到移动，通过 GPIO 唤醒 ESP32；
4. 醒来后启动摄像头拍照识别；
5. 完成任务后再次进入睡眠。

唤醒电路非常简单：

PIR Sensor OUT ──→ GPIO13 (RTC IO)

在程序中配置 EXT0 唤醒：

esp_sleep_enable_ext0_wakeup(GPIO_NUM_13, 1); // 高电平唤醒
esp_deep_sleep_start();

实测表明，这种模式下平均每小时只唤醒 3~5 次，平均功耗可控制在 0.3mA 以下 ，AA 电池供电可持续运行半年以上。

---

数据存在哪？安全性和扩展性都要考虑

人脸识别系统的敏感信息包括：

• 用户人脸特征模板（embedding）
• 报警记录
• 模型参数
• Wi-Fi 配置

这些都不能明文存在 Flash 里。ESP32-S3 提供了多种保护手段：

🔐 NVS 分区加密存储

NVS（Non-Volatile Storage）是 ESP-IDF 提供的键值存储系统，支持 AES-CTR 加密：

nvs_sec_cfg_t *cfg = malloc(sizeof(nvs_sec_cfg_t));
ESP_ERROR_CHECK(nvs_flash_secure_init(&nvs_handle, cfg));

// 存储特征向量
nvs_set_blob(handle, "user_01_emb", embedding, 128*sizeof(float));
nvs_commit(handle);

首次初始化时生成密钥并烧录到 eFuse，确保每次启动自动解密。

🛡️ 启用 Secure Boot + Flash Encryption

在生产环境中强烈建议开启：

• Secure Boot v2 ：验证固件签名，防止恶意刷机；
• Flash Encryption ：自动加解密整个 Flash 内容；

这两项一旦启用，攻击者即使物理拆解芯片也无法读取关键数据。

当然，开发阶段可以关闭以便调试。发布前记得重新烧录安全版本。

---

怎么更新模型？OTA 是必选项

模型不可能一劳永逸。随着时间推移，家庭成员可能变化，环境光照也会改变。我们需要支持远程更新。

ESP32-S3 原生支持 HTTPS OTA，配合简单的服务器即可实现：

esp_http_client_config_t config = {
    .url = "https://your-server.com/firmware.bin",
    .cert_pem = NULL,
    .event_handler = _http_event_handler,
};

esp_err_t ret = esp_https_ota(&config);
if (ret == ESP_OK) {
    esp_restart(); // 自动重启生效
}

为了兼容模型热更新，我把 .tflite 文件单独打包传输，而不是烧录整个固件。接收后写入 SPIFFS 文件系统，并在下次启动时动态加载。

这样即使不懂嵌入式开发的用户，也能通过手机 App 一键升级识别能力。

---

实际部署中的那些“小聪明”

经过几个项目的打磨，我总结了一些提升体验的小技巧：

🎯 ROI 裁剪聚焦关键区域

大多数人出现在门口时都是从下往上走。我设置了图像下半部为优先检测区，跳过天花板和墙面，减少无效计算。

🧩 分块推理应对内存紧张

当目标分辨率高于 160×160 时，单次推理内存不够怎么办？可以把图像切成四块，分别送入模型，最后融合结果。虽然精度略有下降，但可用性大幅提升。

📢 加点语音反馈更有温度

通过 I2S 接个小喇叭，识别成功时播放一句：“爸爸欢迎回家！”——瞬间就有了家的感觉。用 pre-recorded WAV 文件播放即可，不需要实时合成。

🖼️ 二维码配网简化设置

新设备上线最麻烦的是连 Wi-Fi。我做了个创意方案：设备启动后生成 SSID 二维码，手机扫码后自动回传 Wi-Fi 凭据，全程无需按键操作。

---

它能用在哪？远不止是“看门狗”

别以为这只是个高级版门铃。这个平台的潜力远超想象：

🏠 家庭场景

• 老人跌倒检测（结合姿态估计模型）
• 儿童进入危险区域提醒（厨房、阳台）
• 宠物活动监控（猫爬架异常停留）

🏢 商业场景

• 小型办公室访客登记
• 无人零售店顾客识别
• 员工考勤打卡（替代 IC 卡）

🧑‍⚕️ 特殊需求

• 认知障碍患者防走失
• 独居老人日常行为分析
• 残障人士环境交互辅助

有一次朋友家装完这套系统后笑着说：“现在我妈每次来都会特意整理头发才进门，生怕被当成陌生人报警。” 😂

---

最后一点思考：AI 不该是云厂商的玩具

当我第一次看到自己的设备在断网状态下准确喊出“这是妈妈”时，那种成就感难以言喻。

我们总以为人工智能必须依赖强大的服务器、昂贵的 GPU、复杂的 Docker 部署……但事实上， 真正的智能应该发生在离你最近的地方 。

ESP32-S3 这样的芯片让我们意识到：AI 可以很小、很快、很安静，而且完全属于你自己。没有广告推送，没有数据贩卖，也没有“算法黑箱”。

它不会把你卖给大数据公司，只会默默地守护你的家。

或许，这才是物联网本该有的样子。