ESP32-S3 打造 AI 分类垃圾桶控制系统

用 ESP32-S3 打造一个会“看”的智能垃圾桶 🚮🧠

你有没有试过站在垃圾桶前，手里捏着一个酸奶盒，心里疯狂纠结：“这玩意儿算可回收还是湿垃圾？”——别笑，这可能是当代城市人最真实的日常焦虑之一。更糟的是，就算你认真分类了，下一秒别人随手一扔，全白搭。

那如果……垃圾桶自己能“看”懂你是谁、手里拿的是什么，然后自动打开对应的盖子呢？听起来像科幻片？其实今天，我们完全可以用一块不到 $5 的芯片 + 几个常见模块，亲手把这个场景变成现实。

主角就是 ESP32-S3 ——乐鑫那颗专为 AIoT 而生的“小钢炮”。它不光能连 Wi-Fi、跑蓝牙，还偷偷塞了一套神经网络加速指令进去。这意味着： 在没有云端参与的情况下，它可以直接拍张照、认出垃圾类型、控制舵机开盖，整个过程不到 1 秒。

这不是概念演示，而是一个真正可以部署在家门口的完整系统。接下来，咱们就从零开始，拆解这个 AI 垃圾桶是怎么一步步“长眼睛、动脑子、伸胳膊”的。

---

为什么是 ESP32-S3？因为它真的不一样 💡

市面上做嵌入式的 MCU 多如牛毛，STM32、GD32、RP2040……但你要想在本地跑 AI 模型，尤其是图像识别这种吃算力的任务，大多数传统 MCU 都得跪。

而 ESP32-S3 不一样。它的双核 Xtensa LX7 处理器主频高达 240MHz，支持浮点运算（FPU），关键是——它有 专门为神经网络优化的向量指令集（Vector Instructions for NN） 。简单说，就是给卷积、矩阵乘法这些 AI 核心操作开了“高速通道”。

我之前拿它跑 MobileNetV1-quantized 模型，在 96x96 输入下推理时间稳定在 680ms 左右 ，全程不掉帧、不卡顿。相比之下，同样模型放在普通 STM32F4 上？别说实时了，加载都费劲。

再加上它原生集成 Wi-Fi 和 BLE 5.0，还有 DVP 接口直连摄像头、多路 PWM 控制舵机……功能高度集成，省掉了外挂模块的麻烦和成本。一套下来，整块板子的成本压到百元以内不是梦。

✅ 实测数据：AI 推理 + 图像采集 + 舵机控制 + MQTT 上报，峰值功耗约 1.2W，待机时可通过 PIR 传感器降到 50mW 以下。

---

看得见世界的眼睛：OV2640 摄像头怎么用？👀

要让设备“认识”垃圾，第一步当然是让它看得见。这里我们选的是老朋友—— OV2640 CMOS 图像传感器 ，也就是你在 ESP32-CAM 模块上最常见的那颗。

别看它便宜（批量单价不到 $2），能力却不弱：

• 最高支持 1600×1200 分辨率
• 输出格式可选 JPEG / RGB565 / YUV / GRAYSCALE
• 内置 JPEG 硬编码压缩，大幅降低传输压力
• 支持自动曝光（AEC）、自动白平衡（AWB）

最关键的一点： ESP32-S3 可以通过 I2S 外设模拟 DVP 接口直接读取它的数据 ，不需要 FPGA 或专用视频处理器。

实际接线与配置要点 🔧

如果你用的是 AI Thinker ESP32-CAM 这类开发板，大部分引脚已经固定好了。但如果你想自定义布局，以下是关键 GPIO 映射（必须注意！）：

#define Y9_GPIO_NUM   35
#define Y8_GPIO_NUM   34
#define Y7_GPIO_NUM   39
#define Y6_GPIO_NUM   36
#define Y5_GPIO_NUM   21
#define Y4_GPIO_NUM   19
#define Y3_GPIO_NUM   18
#define Y2_GPIO_NUM    5
#define VSYNC_GPIO_NUM 25
#define HREF_GPIO_NUM  23
#define PCLK_GPIO_NUM  22
#define XCLK_GPIO_NUM   0

这些并行数据线对时序非常敏感，尤其是 PCLK （像素时钟），建议走线尽量短且远离干扰源。我在第一次打板时就是因为 PCLK 走得太长，导致图像出现大量雪花点 😩。

初始化代码实战 📸

好在 Espressif 官方提供了成熟的 esp32-camera 组件，初始化几乎一键完成：

#include "esp_camera.h"

void init_camera() {
    camera_config_t config = {};
    config.pin_pwdn     = 32;
    config.pin_reset    = -1;
    config.pin_xclk     = 0;
    config.pin_sscb_sda = 26;
    config.pin_sscb_scl = 27;

    config.pin_d0 = 5;   // Y2
    config.pin_d1 = 18;  // Y3
    config.pin_d2 = 19;  // Y4
    ...
    config.pin_pclk = 22;
    config.pin_vsync = 25;
    config.pin_href = 23;

    config.xclk_freq_hz = 20000000;           // XCLK 频率
    config.pixel_format = PIXFORMAT_JPEG;     // 使用 JPEG 压缩
    config.frame_size = FRAMESIZE_96X96;      // 必须匹配模型输入尺寸！
    config.jpeg_quality = 12;                 // 质量越高越慢
    config.fb_count = 1;                      // 单缓冲节省内存

    esp_err_t err = esp_camera_init(&config);
    if (err != ESP_OK) {
        ESP_LOGE("CAM", "Init failed: %s", esp_err_to_name(err));
        return;
    }

    // 微调参数提升识别效果
    sensor_t *s = esp_camera_sensor_get();
    s->set_brightness(s, 1);      // 稍亮一点，避免暗光误判
    s->set_saturation(s, -1);     // 降低饱和度，减少颜色干扰
    s->set_special_effect(s, 0);  // 关闭特效
}

📌 经验分享 ：
- 设置 frame_size = FRAMESIZE_96X96 是为了匹配训练模型的输入尺寸；
- 用 JPEG 模式能显著减少内存占用（一张 RGB 图要 96×96×3 ≈ 27KB，JPEG 只有 ~2–4KB）；
- 但代价是需要额外解码成 RGB 才能喂给模型，可以用 TJpgDec 或内置函数处理；
- 如果你的模型是灰度输入，直接设置 PIXFORMAT_GRAYSCALE 更高效。

---

让垃圾桶“动手”：SG90 舵机精准控制 🛠️

看得见还不够，还得动得了。我们需要一组执行机构来打开不同类别的垃圾桶盖。这时候，性价比之王 SG90 模拟舵机 就登场了。

别被“玩具级”标签骗了——这小家伙扭矩有 1.8kg·cm（4.8V 下），带动一个轻质翻盖结构绰绰有余。重点是价格感人，批量采购不到 $0.8/个。

PWM 控制原理揭秘 ⚙️

SG90 接收的是标准 PWM 信号，周期 20ms（即频率 50Hz）：

脉宽	角度
0.5ms	0°
1.5ms	96°（中位）
2.5ms	180°

换算成占空比就是 5% ~ 25% 。ESP32-S3 的 LEDC 外设正好支持高精度 PWM 输出，我们可以轻松实现角度映射。

多路控制实战代码 💻

下面是基础驱动代码，支持任意 GPIO 和通道配置：

#define SERVO_GPIO_1  13
#define SERVO_GPIO_2  14
#define SERVO_GPIO_3  26
#define SERVO_GPIO_4  27

void setup_servos() {
    ledc_setup(LEDC_CHANNEL_0, 50, 10);  // 50Hz, 10-bit resolution
    ledc_setup(LEDC_CHANNEL_1, 50, 10);
    ledc_setup(LEDC_CHANNEL_2, 50, 10);
    ledc_setup(LEDC_CHANNEL_3, 50, 10);

    ledc_attach_pin(SERVO_GPIO_1, LEDC_CHANNEL_0);
    ledc_attach_pin(SERVO_GPIO_2, LEDC_CHANNEL_1);
    ledc_attach_pin(SERVO_GPIO_3, LEDC_CHANNEL_2);
    ledc_attach_pin(SERVO_GPIO_4, LEDC_CHANNEL_3);
}

void set_servo_angle(int channel, int angle) {
    angle = constrain(angle, 0, 180);
    int duty = 51 + (angle / 180.0) * (256 - 51);  // 映射到 10-bit duty (0~1023)
    ledc_set_duty(LEDC_TIMER_0, channel, duty);
    ledc_update_duty(LEDC_TIMER_0, channel);
}

🎯 实用技巧 ：
- 使用 10 位分辨率（1024 级）可以让动作更平滑；
- 实际测试发现，某些 SG90 存在个体差异，建议校准“0°”和“180°”对应的实际脉宽；
- 加入延时保护：每次动作后至少等待 500ms 再触发下一次，防止电机堵转发热；
- 可加限位开关或磁感应反馈，形成闭环控制（进阶玩法）。

比如我现在用四个舵机分别控制四类桶盖（干/湿/可回收/有害），用户投放时只会打开对应的一个，其他保持关闭，既安全又卫生。

---

在设备端跑 AI：TinyML 如何落地？🤖

这才是整个系统的灵魂所在： 如何让 ESP32-S3 在只有几百 KB RAM 的条件下，运行一个图像分类模型？

答案是： TensorFlow Lite for Microcontrollers（TFLite Micro） + 模型量化 + PSRAM 扩展 。

模型训练与准备流程 🧠

我的做法是这样的：

1. 在 PC 端用 TensorFlow/Keras 训练一个小型 CNN 模型（例如 MobileNetV1 剪枝版）；
2. 输入尺寸设为 96x96，输出为 4 类：塑料瓶、纸杯、果皮、电池；
3. 使用 INT8 量化 （Post-training Quantization）将模型体积缩小 4 倍；
4. 转换为 .tflite 文件，再用 xxd -i model.tflite > model_data.h 编译进固件。

最终模型大小约 180KB，完全可以放进 Flash。

加载与推理核心代码 🧩

#include "tensorflow/lite/micro/micro_interpreter.h"
#include "model_data.h"  // extern const unsigned char g_model[]
#include "psram.h"

static tflite::MicroInterpreter* interpreter;
static uint8_t* tensor_arena;
static TfLiteTensor* input;

void setup_ai_model() {
    // 尽量使用 PSRAM，避免挤爆内部 SRAM
    tensor_arena = (uint8_t*)ps_malloc(100 * 1024);  // 100KB buffer
    if (!tensor_arena) {
        ESP_LOGE("AI", "PSRAM alloc failed");
        return;
    }

    static tflite::MicroErrorReporter error_reporter;
    const tflite::Model* model = tflite::GetModel(g_model);
    if (model->version() != TFLITE_SCHEMA_VERSION) {
        ESP_LOGE("AI", "Schema mismatch");
        return;
    }

    static tflite::AllOpsResolver resolver;  // 包含常用算子
    static tflite::MicroInterpreter static_interpreter(
        model, resolver, tensor_arena, 100 * 1024, &error_reporter
    );
    interpreter = &static_interpreter;

    TfLiteStatus allocate_status = interpreter->AllocateTensors();
    if (allocate_status != kTfLiteOk) {
        ESP_LOGE("AI", "AllocateTensors() failed");
        return;
    }

    input = interpreter->input(0);
    ESP_LOGI("AI", "Model loaded, input size: %d", input->bytes);
}

📌 内存管理忠告 ：
- tensor_arena 是推理过程中存放中间变量的地方，必须足够大；
- 强烈建议启用 PSRAM（ESP32-S3 支持外挂 16MB SPI RAM），否则很容易 OOM；
- 若无法使用 PSRAM，可尝试降低模型复杂度或改用更小输入尺寸（如 64x64）；

推理执行与结果处理 🎯

int run_inference(uint8_t* img_data) {
    // 假设 img_data 已经是 [96][96][3] 格式的 RGB 数据，并归一化到 [0,1]
    memcpy(input->data.f, img_data, input->bytes);

    TfLiteStatus invoke_status = interpreter->Invoke();
    if (invoke_status != kTfLiteOk) {
        ESP_LOGE("AI", "Invoke failed");
        return -1;
    }

    TfLiteTensor* output = interpreter->output(0);
    float* scores = output->data.f;
    int result = 0;
    float max_score = scores[0];

    for (int i = 1; i < 4; i++) {
        if (scores[i] > max_score) {
            max_score = scores[i];
            result = i;
        }
    }

    ESP_LOGI("AI", "Class: %d, Confidence: %.2f%%", result, max_score * 100);
    return result;  // 返回类别 ID
}

🧪 性能实测 ：
- 模型：MobileNetV1-quantized, 96x96 input
- 推理时间：平均 680ms
- 内存占用：tensor_arena 100KB + 模型常驻 ~180KB
- CPU 占用率：单核约 90%，另一核负责通信与调度

已经足够满足日常使用需求。如果还想提速，可以考虑换成更轻量的模型，比如 EfficientNet-Lite0 或自研 TinyCNN。

---

整体工作流程设计 🔄

现在硬件和算法都有了，怎么把它们串起来？

我的系统逻辑是这样的：

1. 待机状态 ：主循环休眠，由红外传感器（HC-SR501）触发唤醒；
2. 检测到人 → 启动摄像头拍照；
3. 获取 JPEG 图像 → 解码为 RGB888；
4. 预处理 ：缩放（若非目标尺寸）、归一化（除以 255.0）；
5. AI 推理 → 得到分类结果；
6. 控制舵机 → 打开对应垃圾桶盖；
7. 延时 3 秒 → 自动关闭；
8. 记录上传 ：通过 Wi-Fi 发送分类日志到 MQTT 服务器（如 EMQX 或阿里云 IoT）；
9. 返回待机 。

整个过程全自动，无需任何按钮或扫码操作。

关键优化点 ✨

• 有人才启动 ：极大降低功耗，延长设备寿命；
• 图像只用于推理 ：原始图片不会保存或上传，保护隐私；
• 失败降级机制 ：若 AI 置信度低于阈值（如 <70%），默认开启“其他垃圾”桶；
• OTA 支持 ：固件和模型均可远程更新，方便后期迭代；
• 离线可用 ：即使断网也能正常分类，不影响基本功能。

---

实际部署中的那些坑 🚧

想法很美好，落地总会遇到各种意想不到的问题。下面是我踩过的几个典型“雷区”：

❌ 问题 1：电源不够稳，摄像头频繁重启

OV2640 + ESP32-S3 + 多个舵机同时工作时，瞬时电流可达 500mA 以上。用 USB 线供电？直接罢工。

✅ 解决方案 ：使用独立的 5V/2A 开关电源，加 1000μF 电解电容滤波，确保电压稳定。

❌ 问题 2：舵机动作不同步，盖子卡住

多个 SG90 同时转动时，由于响应速度略有差异，容易造成机械干涉。

✅ 解决方案 ：程序中加入顺序控制，每次只动一个舵机；或者使用齿轮联动结构同步开合。

❌ 问题 3：光照变化影响识别准确率

晚上光线不足，或者逆光拍摄，会导致模型误判。

✅ 解决方案 ：
- 增加环形补光灯（可用 GPIO 控制，拍照时自动点亮）；
- 在训练数据中加入多种光照条件下的样本；
- 启用 OV2640 的 AEC/AWB 功能动态调节；

❌ 问题 4：模型泛化能力差，新物品识别不了

训练时用了塑料瓶、易拉罐、香蕉皮……结果来了个奶茶杯就懵了。

✅ 解决方案 ：
- 构建更丰富的训练集（建议每类不少于 500 张图）；
- 使用数据增强（旋转、裁剪、亮度扰动等）提升鲁棒性；
- 后期可通过 OTA 推送新模型版本，持续优化。

---

成本与扩展性分析 💰🚀

这套系统的物料清单大概是这样：

模块	单价（批量）	数量	小计
ESP32-S3 开发板	$4.5	1	$4.5
OV2640 摄像头	$1.8	1	$1.8
SG90 舵机	$0.8	4	$3.2
HC-SR501 红外传感器	$0.3	1	$0.3
电源模块	$1.0	1	$1.0
结构件（3D打印）	$2.0	1	$2.0
其他（线材、PCB等）	—	—	$2.0
合计	—	—	≈ $14.8

加上外壳和组装，整机成本控制在 ￥100 元以内 完全可行。比起市面上动辄上千的“智能垃圾桶”，简直是降维打击。

而且它的模块化设计允许无限扩展：

• 加语音模块 → 投放时播报提示语：“请投放可回收物哦～”
• 加二维码扫描 → 用户扫码获取积分奖励；
• 加重量传感器 → 统计每日垃圾产量；
• 加 LoRa 模块 → 实现园区级无 Wi-Fi 覆盖区域的数据回传；
• 加 OLED 屏幕 → 显示分类排行榜或环保标语；

甚至还能反向教育用户：连续三次投错，就播放一段垃圾分类科普短视频 😏。

---

写在最后：当垃圾桶也开始思考 🤔

我们常常觉得 AI 是遥不可及的东西，属于数据中心、GPU 集群和百万参数的大模型。但 ESP32-S3 这样的芯片正在改变这一切。

它让我们看到： 真正的智能化，未必是炫技般的自动驾驶或人脸识别，而是藏在一个个微小却贴心的细节里——比如，帮你分清酸奶盒该扔哪儿。

这个项目的意义，不只是做一个能自动开盖的垃圾桶。它是对“边缘智能”的一次真实实践：
👉 数据不出设备，
👉 响应毫秒级，
👉 成本可控，
👉 可大规模复制。

更重要的是，它提醒我们：技术的价值，从来不是让它变得更复杂，而是让它消失在生活之中，只留下便利本身。

下次当你把手伸向垃圾桶时，也许你会想：
“嘿，这家伙，其实比我还会分类。” 😎