【智慧养殖新视界】- 基于16类行为视频数据集的猪只健康与福利智能监测实践

1. 从“看”到“懂”：猪场里的AI眼睛是如何工作的

朋友们，想象一下，你是一个大型现代化养猪场的场长，每天要管理成千上万头猪。过去，我们靠什么？靠经验丰富的饲养员一双双“火眼金睛”，在猪舍里来回巡视，看看哪头猪精神不好、哪头猪打架了、哪头猪不吃食。但这活儿有多累、多难，干过的人都知道。猪舍环境嘈杂，气味也大，人不可能24小时盯着，而且经验这东西，很难标准化，更没法复制给新员工。现在，情况不一样了。我们给猪场装上了一双双不知疲倦的“AI眼睛”——就是那些遍布猪舍的摄像头。但这些摄像头拍下来的，只是一堆堆原始的视频数据，就像一堆散乱的、未经剪辑的电影胶片。我们怎么让机器从这些“胶片”里，看懂猪在干什么，甚至判断它健不健康、开不开心呢？这就是我们今天要聊的核心：基于16类行为视频数据集的猪只健康与福利智能监测。

这16类行为，可不是随便定的。它们是动物行为学家和养殖专家们一起，把猪从早到晚的生活，掰开了、揉碎了，总结出来的最核心的“行为词汇表”。从最基础的“站立”、“行走”、“躺卧”，到反映社交状态的“追逐”、“打斗”、“鼻对鼻”，再到关乎个体健康的“进食”、“饮水”、“睡眠”异常，甚至还有反映动物福利水平的“探索”、“玩具互动”。每一个行为类别，都是一个关键的“健康与福利指标”。我们的目标，就是教会AI，让它能像最资深的饲养员一样，实时、自动地从视频流里，把这些行为“词”一个个准确地“读”出来，并拼凑成一头猪、乃至一整群猪的“生命状态报告”。

我刚开始接触这个项目时，也觉得挺玄乎。机器真能看懂猪打架和玩耍的区别？能分清猪是躺着睡觉还是躺着生病？但当我亲眼看到，经过训练的模型，能在视频里用一个一个的彩色框，实时标出“追逐”、“进食”、“躺卧”这些行为，并且统计出每头猪每天吃了多久、睡了多久、运动了多远时，我才真正意识到，技术真的能给这个传统行业带来一场静悄悄的革命。这不再是科幻电影里的场景，而是已经在我们身边发生的、实实在在的智慧养殖新视界。接下来，我就带你一步步拆解，这个从“原始视频”到“数字仪表盘”的完整智能监测闭环，到底是怎么搭建起来的。

2. 基石：深入理解16类行为数据的“含金量”

很多人拿到一个数据集，第一反应可能就是“哦，有16个类别，挺多的”，然后就开始急着找模型、跑训练。别急，这是我踩过的第一个坑。如果不真正理解这16类行为背后代表的生物学和养殖学意义，你训练出来的模型就算准确率高，对实际生产管理的价值也可能大打折扣。这16类行为，我们可以把它们分成四大功能板块，理解了板块，你就理解了整个监测系统的逻辑骨架。

2.1 核心生理与健康指标板块

这个板块是监测的“生命线”，直接关系到猪的生死存亡和生长性能。

• 进食（eat）与饮水（drink）：这是最直接、最关键的指标。一头猪如果突然减少进食或饮水，往往是疾病最早期的信号，比如发烧、消化系统问题。我们的AI系统需要做的，不仅仅是识别出“进食”这个动作，更要量化它：单次进食时长、日总进食时长、进食频率。比如，我们发现某头猪的“日总进食时长”在过去24小时内下降了40%，系统就会自动生成一个高优先级告警，推送给饲养员手机，提示“3号栏舍A03号猪只疑似食欲减退，建议立即进行体温测量和临床检查”。这比人眼观察要精准和及时得多。
• 睡眠（sleep）与躺卧（lying）：健康的猪睡眠和休息是有规律的。过度的、非正常的躺卧（比如在非休息时间长时间蜷缩一角），结合其他行为异常，可能指向肢蹄病、关节炎或全身性疾病。系统需要区分正常的“躺卧休息”和病态的“萎靡躺卧”，这有时需要结合“站立”、“行走”的减少来综合判断。
• 站立（standing）、行走（walk）、奔跑（run）：这些是活动量的指标。一头生长猪，应该有正常的活动量。活动量显著降低，是健康状况不佳的普遍表现。我们可以为不同生长阶段（如保育猪、育肥猪）设定一个“日均活动时长”的基线，低于基线一定比例就触发预警。

2.2 社交与行为福利板块

这个板块反映的是猪的心理状态和群体福利水平，直接影响猪的应激水平和肉质。

• 打斗（fight）与追逐（chase）：这是猪群内发生紧张关系和社交压力的明确标志。频繁的打斗不仅会造成身体伤害，还会导致群体应激，影响整体生长。AI系统需要能实时检测并定位打斗事件，一旦发生，除了报警，还可以联动自动化设备，比如自动喷淋降尘系统短暂开启以分散猪只注意力，或者提示饲养员进行干预。
• 鼻对鼻（nose-to-nose）与鼻触其他（nose-poke-elsewhere）：这是猪的探索和社交行为。适度的“鼻对鼻”是正常的社交问候。而“鼻触其他”则反映了猪对环境的探索欲望。如果整个猪舍的“探索”和“社交”行为频率极低，可能意味着环境单调（缺乏丰容设施）或猪群处于高度应激、冷漠状态。
• 玩具互动（playwithtoy）：这是评估动物福利的一个黄金指标。只有感到安全、健康、无压力的猪，才会有兴趣去玩耍。在猪栏里悬挂一些安全的玩具（如链条、橡胶球），通过AI监测“玩具互动”的频率和时长，可以非常直观地量化这个猪群的“幸福指数”。这是我个人觉得特别有意思的一点，技术让我们第一次能大规模、客观地度量动物的“快乐”。

2.3 异常与风险行为板块

这个板块是安全管理的重点。

• 跳上（jumpontopof）：这可能意味着猪试图越栏，或者栏舍设计存在缺陷，有受伤风险。对于母猪舍，尤其需要关注。
• 其他行为（other）：这是一个重要的“兜底”类别。在实际部署中，我们可能会发现一些数据集未标注但很有意义的行为，比如“刻板行为”（无意义的重复动作，是福利差的表现）、剧烈的咳嗽或喘息动作。我们可以将这些新发现的行为案例，加入到“其他行为”中进行积累，后期再让专家进行标注，扩充我们的行为词典。

2.4 数据标注的实战经验与挑战

原始视频只是一堆像素，要让AI学会识别，必须有人先告诉它“这一段是进食”、“那一段是打斗”。这就是数据标注。我们用的这个数据集已经做好了16类标注，这省去了巨大的初期工作量。但我想分享的是在实际项目迭代中，标注要注意的几个坑： 第一，行为的时间边界很难界定。比如“进食”行为，是从猪头低下接近料槽开始，还是从咀嚼开始？到它抬头离开结束，还是嘴里还在嚼就算结束？我们当时和养殖专家定了非常细致的标注规则：从嘴部首次接触饲料开始，到连续2秒以上未接触饲料或头部完全转向结束。统一标准至关重要。 第二，遮挡和光照变化。猪群密集时，一头猪可能被另一头挡住。猪舍光线从早到晚变化，还有灯光阴影。这就要求我们的数据集必须包含各种光照、密度场景，标注时对于严重遮挡的行为要谨慎标注或标为“困难样本”。 第三，行为的多标签问题。一头猪可能在“行走”中突然用鼻子“探索”了一下地面。所以，一个视频片段有时需要打上多个行为标签。在模型训练时，我们需要使用能处理多标签的分类方法。

3. 构建管道：从视频流到行为洞察的完整技术链路

理解了数据的内涵，我们来看看技术上是如何实现的。整个过程就像一条精密的流水线，我把这条流水线称为“感知-理解-决策”三层管道。

3.1 第一层：感知层——视频流的预处理与猪只检测

摄像头传来的原始视频流，首先进入预处理阶段。这里有几个实操要点：

1. 抽帧策略：视频是连续的，但我们不需要分析每一帧。通常采用定时抽帧（如每秒1-5帧）结合运动检测触发抽帧的方式。这样既能覆盖所有活动，又大大减少了计算量。我常用的一个开源工具是 OpenCV 的 VideoCapture，配合背景减除法（如 MOG2）来检测运动区域。

   import cv2
   cap = cv2.VideoCapture('pig_barn.mp4')
   fps = cap.get(cv2.CAP_PROP_FPS)
   frame_interval = int(fps)  # 例如，每秒抽1帧
   
   fgbg = cv2.createBackgroundSubtractorMOG2()
   frame_count = 0
   
   while True:
       ret, frame = cap.read()
       if not ret:
           break
       frame_count += 1
       if frame_count % frame_interval == 0:
           # 运动检测
           fgmask = fgbg.apply(frame)
           # 如果运动区域大于阈值，则送入后续处理
           if cv2.countNonZero(fgmask) > 500:
               process_frame(frame)  # 进行猪只检测
   cap.release()
   

2. 猪只检测：这是所有后续分析的基础。我们需要在每一帧中框出每一头猪的位置。现在最主流、效果也最好的就是基于深度学习的目标检测模型，比如 YOLO系列（如YOLOv8） 或者 Faster R-CNN。我们用标注好的大量猪只图片（框出猪的位置）去训练这些模型。训练好后，模型就能在视频里实时地把每头猪都框出来了。这里的关键是轻量化，因为猪场摄像头多，需要部署在边缘计算设备（如英伟达Jetson系列）上，模型不能太大太快。

3.2 第二层：理解层——核心行为识别模型实战

检测到猪只后，接下来就是重头戏：判断每个框里的猪在干什么。这是行为识别，比静态图片分类要复杂，因为行为是随时间展开的。我主要实践过两种主流技术路线，各有优劣。

• 路线一：双流网络。这是比较经典的方法。它有两个分支：空间流网络（通常是CNN，如ResNet）负责分析单帧图片的外观信息（比如猪的姿势、嘴部是否接触料槽）；时间流网络（也是CNN）负责分析多帧之间的光流信息（即运动模式）。最后把两个分支的结果融合起来做判断。这种方法准确率不错，但对计算资源要求高，因为要计算光流。
• 路线二：3D卷积网络（3D CNN）或时序模型。这是目前更主流的趋势。3D CNN直接把一小段视频片段（比如连续的16帧）作为一个三维输入（宽、高、时间），一次性提取时空特征。另一种是使用 CNN + RNN/LSTM 的组合，先用CNN提取每一帧的特征，再用RNN或LSTM（一种特殊的RNN）来分析这些特征在时间序列上的变化。Transformer 架构现在也在行为识别领域大放异彩，它通过“注意力机制”能更好地捕捉长距离的时空依赖关系。

在实际项目中，我通常会先用一个在大型通用视频数据集（如Kinetics）上预训练过的3D CNN模型（如I3D、SlowFast）进行微调（Fine-tuning）。用我们的16类猪行为数据，去调整模型的最后几层。这比从零训练快得多，效果也更好。训练时，正负样本要均衡，比如“打斗”这种样本少的行为，需要适当进行数据增强（如水平翻转、随机裁剪、调整亮度）。

3.3 第三层：决策层——从行为序列到健康仪表盘

模型输出了每一头猪在每一时刻的行为标签，但这还不是终点。我们需要把这些零散的点，连成线，绘成面，形成可读的洞察。

1. 行为序列分析与事件检测：单个的“打斗”标签可能只是偶然的冲撞。我们需要定义什么是“一次打斗事件”：比如，连续5帧以上被识别为“打斗”，且涉及至少两头猪。这就需要设计一个基于时间窗口的平滑与聚合算法。同样，“进食事件”可能是由多个短暂的“进食”行为片段组成的。
2. 个体与群体指标计算：系统会为每一头猪（通过目标检测框ID跟踪技术实现个体追踪）建立一个“行为档案”，计算诸如“今日总进食时长”、“平均每次进食时长”、“活动距离”、“与其他猪发生负面互动的次数”等。在群体层面，则计算“栏舍内平均活动水平”、“打斗事件发生率”、“玩具互动参与率”等。
3. 阈值预警与仪表盘可视化：这是最后一步，也是产生价值的一步。我们为关键指标设置预警阈值。这些阈值不是固定的，而是基于历史数据动态调整的。比如，某头猪的进食时长低于其自身过去7天平均值的30%，则触发“黄色预警”；低于50%，触发“红色预警”。所有这些信息，都会实时呈现在一个数字仪表盘上。场长在办公室的大屏上，就能看到全场各个猪舍的“健康指数”、“福利指数”热力图，点击任何一个报警，都能直接调出当时的视频片段进行复核。

4. 落地应用：智能监测如何真正改变养猪场

技术说得再炫，不能落地产生效益就是空谈。下面我结合几个真实的应用场景，看看这套系统具体怎么用。

4.1 场景一：早期疾病预警与精准诊疗

这是最刚需的应用。以前，饲养员发现病猪，往往已经是症状非常明显的时候了，比如完全不吃、呼吸困难、瘫倒在地。这时候治疗成本高，效果差，还可能已经传染给了同栏的猪。 现在，AI系统扮演了“7x24小时健康巡检员”的角色。它通过分析**“进食”、“饮水”、“活动量”** 这三个核心指标的微妙变化，能在临床症状出现前24-48小时就发出预警。比如，我们有一个案例：系统提示“育肥三舍-第5栏-编号F053猪只活动量下降20%，单次饮水时长增加但频率降低”。饲养员接到提示后前去检查，发现该猪体温轻微升高，有早期呼吸道感染迹象。立即将其隔离并用药，三天后康复，完全没有影响同栏其他猪。这种早发现、早隔离、早治疗，将疾病损失降到了最低。

4.2 场景二：动物福利量化评估与改善

动物福利不再是凭感觉的“玄学”。通过监测 “探索”、“玩具互动”、“打斗”、“刻板行为” 等指标，我们可以给每个猪舍的“福利水平”打分。 我们曾在一个猪场做了对比实验：A组猪舍是传统的水泥地面，B组猪舍铺设了垫料并悬挂了玩具。系统运行一个月后的数据显示：

行为指标	A组（传统）	B组（丰容）	变化
打斗事件次数/日	8.5	2.1	下降75%
玩具互动总时长/日	忽略不计	45分钟	显著提升
刻板行为（如空嚼）	较常见	罕见	大幅减少
平均日增重	基准值	比基准高5%	提升

数据一目了然。B组猪更“快乐”，应激少，生长性能也更好。这为猪场进行福利化改造提供了令人信服的数据支持，也帮助生产出更符合高端市场需求的猪肉产品。

4.3 场景三：自动化管理决策的触发

智能监测的最高境界，是不仅能“看”能“报”，还能“动”。通过与物联网（IoT）设备的联动，系统可以自动触发一些管理操作。

• 环境自动调节：当系统检测到猪群“打斗”行为频率在短时间内急剧升高，结合温度传感器数据发现舍内温度偏高，可以自动启动喷淋降温系统和通风系统。环境改善后，猪的烦躁情绪下降，打斗自然减少。
• 精准饲喂：传统的饲喂是定时定量。未来可以更智能：系统识别出某头猪没有在常规进食时间进食，可以控制自动化料槽，为该头猪单独进行一次少量下料，诱使其进食。如果它吃了，说明可能只是偷懒；如果还是不吃，则加强疾病预警。
• 分娩预警：对于母猪，临产前会有特定的行为模式改变，如频繁起卧、啃咬栏杆、做窝等。通过AI学习这些行为序列，可以在母猪即将分娩前向管理员发出精准预警，以便做好接产准备，降低仔猪死亡率。

5. 挑战、选型与未来展望

这条路听起来很美好，但实际走起来，坑一点不少。我总结了几点关键的挑战和选型建议，希望能帮你少走弯路。

5.1 实际部署中的三大挑战

1. 算力与成本的平衡：猪场往往地处偏远，网络条件可能不好。把所有视频都传到云端分析，延迟高、带宽成本巨大。因此，边缘计算是必由之路。我们需要在猪场本地部署边缘服务器（如使用英伟达Jetson AGX Orin），运行轻量化的检测和识别模型。如何将大型模型“裁剪”（如通过知识蒸馏、模型剪枝）到适合边缘设备，同时保持精度，是一个技术难点。
2. 复杂场景的鲁棒性：猪舍环境恶劣：灰尘多、光线变化大、水汽弥漫、猪只相互严重遮挡。这要求我们的模型必须经过充分的数据增强和在真实场景下的持续学习。我们建立了一个机制，将系统识别置信度低或管理员手动纠正的案例，自动收集起来，定期回传给中心服务器，用于更新和优化模型。
3. 个体识别与跟踪：为了计算每头猪的长期行为指标，我们需要对猪进行个体识别。但猪长得快，外观变化大，而且没有明显的面部特征。单纯靠外观重识别（Re-ID）很难。我们结合了耳标识别（RFID或视觉识别耳标）和短时外观跟踪。在猪进入栏舍时，通过入口处的摄像头识别其耳标，赋予一个初始ID，然后在栏舍内利用多摄像头协同和跟踪算法（如DeepSORT）尽可能长时间地维持这个ID。即使ID跟丢了，系统也会记录为一头“未识别个体”，其行为数据仍会贡献给群体分析。

5.2 技术选型与团队搭建建议

对于想要尝试的猪场或技术团队，我的建议是：

• 起步阶段：不要贪大求全。可以先从一个关键场景做起，比如“哺乳母猪的压仔预警”（通过识别母猪“躺卧”行为是否压到仔猪）或“育肥猪的采食量监测”。选择一个痛点足够痛、价值足够清晰的场景，集中力量打通全流程。
• 模型选型：初期建议从成熟的、开源的行为识别模型开始微调，如 MMAction2（支持多种2D/3D模型）、PySlowFast（Facebook开源）。它们社区活跃，代码和预训练模型丰富。
• 团队构成：这件事绝不是算法工程师一个人能搞定的。需要一个跨学科小团队：至少包括熟悉养殖的业务专家（定义核心指标和规则）、计算机视觉算法工程师（搭建和优化模型）、嵌入式/边缘计算工程师（负责现场部署和性能优化）、后端/前端开发工程师（开发数据管道和仪表盘）。业务专家的深度参与，是项目成功的关键。

5.3 未来的想象空间

我们现在做的，还只是基于视觉的“行为层”分析。未来的智慧养殖，一定是多模态感知的融合。比如，给猪舍加上声音传感器，分析猪的咳嗽、尖叫声音，与视觉行为结合，能更准确地判断呼吸道疾病。再结合体温红外成像，可以无接触监测猪的体温变化。甚至，通过分析猪的排泄物图像，来初步判断肠道健康。这些多维度的数据汇聚在一起，最终将构建出一个更全面、更精准的“数字孪生猪场”。在这个虚拟的猪场里，每一头猪都有一个动态更新的数字档案，我们可以预测它的生长轨迹、健康风险，并为其制定个性化的饲养方案。这条路还很长，但第一步，就是从看懂它们的每一个动作开始。