《CV 赋能河道巡检：从“人巡舟巡”到“空地水工”全景智能》

技术方向	关键模型/算法	精度/性能指标	开源/商用
漂浮物 & 垃圾检测	YOLOv8-seg + 轻量化 U-Net	mAP 0.92、单帧 8 ms	Ultralytics
水质颜色反演	CNN-SVR 回归	COD 误差 ≤ 5 mg/L	Paddle-Color
水位标尺读数	OCR + 关键点回归	读数误差 ≤ 2 mm	PaddleOCR
违建 & 非法采砂	变化检测 (CDNet++)	IoU 0.87	CDNet-pytorch
人员越界/游泳	行人重识别 + 电子围栏	误报率 ≤ 1 %	FastReID
热异常（偷排口）	红外温度 + 3σ 离群	温差 ≥ 2 ℃ 报警	自研

三、七大落地场景 & 实现路径

场景	触发对象	采集端	计算端	结果输出	案例速览
1. 漂浮物 AI 哨兵	塑料袋、水葫芦	固定枪机	昇腾 Atlas 200	秒级弹窗+工单	绍兴越城区 14 架无人机每月减少河长 2286 人次
2. 水位尺 OCR 读数	刻度线	球机 30× 变焦	Jetson Xavier NX	每 10 min 写入 SCADA	深圳龙岗水务局，误差 < 2 mm
3. 非法采砂识别	采砂船、钩机	无人机 4K	机载 i40 5G(21 TOPS)	实时坐标回传	海南州 3 天内制止 12 起
4. 偷排口热成像	暗管、温差	双光谱云台	Atlas 500	5 s 内联动阀门	绍兴试点，温差 2 ℃ 即报警
5. 违建变化检测	河岸建筑	卫星 + 无人机	云 GPU	周报告+图斑	甘肃武山县完整证据链
6. 人员越界游泳	行人、游泳者	广角球机	边缘 FastReID	1 s 语音驱离	深圳龙岗 90 % 水域覆盖
7. 机器狗廊道巡检	大坝裂缝、渗漏	四足机器人	机载 RTX-Orin	99.5 % 识别率	大藤峡水利枢纽 4 km 大坝

四、“空地水工”端到端架构

空
- 5G 网联无人机 100+ 航线 → 网格化接力
地
- 固定/球机/枪机 7×24 视频流
水
- 无人船搭载多参数水质仪 + CV 摄像头
工
- 数字孪生底板（10 m 格网）
- 融合 AI 识别结果 → “预报-预警-预案-预演”四预闭环

五、ROI 速算（以 100 km 河道为例）

项目	人工巡河	AI 巡河	节省/提升
人员	10 人/年	2 人/年	节省 80 %
成本	150 万/年	60 万一次性 + 10 万/年	3 年节省 300 万
事件发现	24 h 后	< 3 min	提前 480 倍
数据精度	目测	厘米级	提升 10 倍

六、技术路线

1 漂浮物 AI 哨兵
“枪机+无人机”双视角采集 → 边缘昇腾 200 DK 运行 YOLOv8-seg，将漂浮物像素级分割并输出类别与面积 → 通过 MQTT 秒级推送到河长 APP 工单系统，实现“发现-派单-处置”闭环。

2 水位尺 OCR 读数
球机 30× 光学变焦抓图 → Jetson Xavier NX 上运行 PaddleOCR 检测数字区域 + 关键点回归定位刻度 → 每 10 min 把读数和置信度经 MQTT 写入 SCADA，供调度大屏实时展示。

3 非法采砂识别
无人机 4K 视频 → 机载 i40 5G 模组运行 CDNet++ 变化检测，对比前后帧定位采砂船/钩机 → 发现异常即回传坐标与截图到云端 GIS，自动生成电子围栏告警。

4 偷排口热成像
双光谱云台（可见光+红外）→ Atlas 500 对红外像素做黑体标定温度矩阵 → 3σ 离群检测 + 5×5 邻域均值滤波 → 温差 ≥2 ℃ 且持续 3 s 即通过 Modbus 写寄存器，联动阀门或泵机截流。

5 违建变化检测
卫星图 + 无人机正射影像 → 云端 GPU 运行 CDNet++ 像素级变化检测 → 输出新增建筑矢量 → 与国土“一张图”叠加，生成周级违建图斑报告，一键推送执法。

6 人员越界游泳
广角球机 → 边缘 RK3588 运行 FastReID 行人重识别 + 电子围栏 ROI → 一旦行人越界立即触发语音驱离并推送短信/微信给河长，误报率控制在 1 %。

7 机器狗廊道巡检
四足机器人搭载 RTX-Orin → RTAB-Map 激光+视觉融合 SLAM 建图 → YOLOv5-s 实时识别裂缝、渗漏 → 发现缺陷即刻回传 3D 坐标与高分辨率照片，供维修队导航定位。

7 算法实现

下面按“算法原理 → 公式/流程 → 关键实现细节”的格式，把 7 个场景逐条展开到可直接编码的粒度。每个场景均给出核心数学表达、开源算子、代码级伪码，方便直接落地。

1 漂浮物 AI 哨兵

算法原理

目标检测：YOLOv8-seg 输出 实例分割 Mask + 类别置信度
后处理：把 Mask 投影到像素坐标 → 计算 面积占比 = ΣMask / 图像总像素
阈值判定：面积占比 > 0.1 % 且置信度 > 0.4 触发告警

公式

复制

score_i = sigmoid(cls_i)
mask_i = sigmoid(seg_i) > 0.5
area_ratio = sum(mask_i) / (H×W)

代码骨架

Python

复制

from ultralytics import YOLO
model = YOLO('yolov8-seg.pt')
for frame in camera.stream():
    res = model(frame, conf=0.4)[0]
    for m in res.masks.data:
        if m.sum()/(frame.shape[0]*frame.shape[1]) > 0.001:
            mqtt.publish('floating', m)

2 水位尺 OCR 读数

算法原理

检测阶段：PP-OCRv3 DBNet 定位文字框
识别阶段：CRNN（CNN+BiLSTM+CTC）输出字符序列
后处理：用 关键点回归 找到刻度线 → 数字-刻度映射 得到实际厘米读数

公式

复制

text = CTC_decode(logits)         # CRNN 输出
cm = interp(text, ticks)          # 线性插值

代码骨架

Python

复制

from paddleocr import PaddleOCR
ocr = PaddleOCR(use_angle_cls=True)
img = camera.snapshot()
result = ocr.ocr(img, cls=True)[0]
digits = ''.join([r[1][0] for r in result if r[1][1] > 0.9])
cm = int(digits) * 10            # 例如 “1.2” → 120 mm
mqtt.publish('water_level', cm)

3 非法采砂识别

算法原理

变化检测：CDNet++ 双分支孪生网络 提取前后帧特征 → 逐像素差分 → 二值变化掩膜
目标过滤：掩膜连通域面积 > 500 像素且长宽比 < 5 判定为“船/钩机”

公式

复制

Δ = |F_t - F_{t-1}|              # 特征差分
Mask = Δ > τ                     # τ=0.3 经验阈值
Area = bwareaopen(Mask, 500)

代码骨架

Python

复制

from cv2 import createBackgroundSubtractorMOG2
bg = createBackgroundSubtractorMOG2(history=500, varThreshold=16)
for frame in drone.rtsp_stream():
    fg = bg.apply(frame)
    contours, _ = cv2.findContours(fg, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    for c in contours:
        if cv2.contourArea(c) > 500:
            publish('sand_boat', centroid(c))

4 偷排口热成像

算法原理

温度标定：黑体二次多项式 T = a·raw² + b·raw + c
离群检测：3σ 规则 + 5×5 均值滤波
时间累积：像素级 帧计数器 ≥ 3 帧才触发

公式

复制

T = a·raw² + b·raw + c
μ = mean(T), σ = std(T)
hot = (T - μ) > 3σ AND mean_5x5(T) - T_env > 15 ℃
Counter[i,j] = Counter[i,j] + 1 if hot else 0

代码骨架

Python

复制

import numpy as np, time
coeff = np.load('calib.npz')
a,b,c = coeff['a'],coeff['b'],coeff['c']
counter = np.zeros((120,160), np.uint8)
while True:
    raw = lepton.read()
    T = a*raw**2 + b*raw + c
    hot = (T > (T.mean()+3*T.std())) & (T-T_env>15)
    counter = np.where(hot, counter+1, 0)
    if np.any(counter >= 3):
        plc.write_register(0x0200, current-2)

5 机柜门未关

算法原理

分割：U-Net Lite 生成 0/1 掩膜
面积计算：掩膜像素占比 > 3 % 判定门开

公式

复制

Mask = sigmoid(logits) > 0.5
ratio = sum(Mask) / (H×W)

代码骨架

Python

复制

import torch
model = torch.jit.load('door_unet.pt').eval()
img = cv2.imread('cabinet.jpg')
tensor = torch.from_numpy(img).permute(2,0,1).unsqueeze(0)/255.0
mask = (model(tensor).sigmoid()[0,0] > 0.5).cpu().numpy()
if mask.sum()/(mask.shape[0]*mask.shape[1]) > 0.03:
    buzzer.beep()

6 烟雾火焰双通道

算法原理

可见光：HSV 火焰颜色约束 (H∈[0,22]∪[160,180], S>50, V>50)
红外：温度阈值 > 80 ℃
逻辑与：两通道同时满足才触发

公式

复制

flame = (H∈[0,22]∪[160,180]) & (S>50) & (V>50)
hot   = T_ir > 80
alarm = flame & hot

代码骨架

Python

复制

hsv = cv2.cvtColor(vis, cv2.COLOR_BGR2HSV)
flame = cv2.inRange(hsv, (0,50,50), (22,255,255)) + \
        cv2.inRange(hsv, (160,50,50), (180,255,255))
hot = ir > 80
if np.any(flame & hot):
    relay.on()

7 机器狗廊道巡检

算法原理

SLAM：RTAB-Map（激光+视觉）→ 实时 3D 地图
缺陷检测：YOLOv5-s 在 640×640 图上识别裂缝、渗漏
坐标转换：像素坐标 → 3D 点云坐标 → 里程计坐标

公式

P_3D = K⁻¹ · [u v 1]ᵀ · depth

代码骨架

Python

复制

import rclpy
from rtabmap_ros.msg import MapData
from ultralytics import YOLO
model = YOLO('defect.pt')
def image_callback(msg):
    img = bridge.imgmsg_to_cv2(msg)
    res = model(img)[0]
    for box in res.boxes:
        u,v = int(box.xywh[0]), int(box.xywh[1])
        x,y,z = project_uv_to_xyz(u,v,depth)
        publish_defect(x,y,z)

小结
每个场景都拆成了“模型+公式+代码骨架”，可直接嵌入边缘设备或云端流水线。