笔记：创意课

第一课

该课程来源于百度飞桨领航团Al达人创造营，笔记为个人所总结
学习地址

一、让人拍案叫绝的创意都是如何诞生的

1.创意就是将现有想法进行某种组合

多种事物特征的组合，例子：美人鱼、天使、恶魔、龙、人外娘、克苏鲁…

2.趣味项目：

游戏复刻

三维弹球人脸版、Flappy Bird魔改（强化学习）、是男人就坚持一百关体感版以及后续版本二仙桥等

特效复刻

分割模型采集图像、放大镜特效加人脸识别、用二分类法更换天空场景

效果复刻

时间域+空间域的叠加、人体分割、头部检测、人脸检测…

表情机器人

接收照片、视频、文本消息，并转换成对应熊猫头表情包的聊天机器人。

组件：Paddlehub、聊天机器人Wechaty

Wechaty：一个开源聊天机器人框架SDK，具有多平台、多语言和多插件的特性，支持Python,Go,Java, Scala,.NET,PHP,Rust 等多语言版本，通过几行代码即可创建一个聊天机器人。

框架：

二、零代码实现安全帽检测模型

1.背景介绍

目标检测任务

目标检测的任务是找出图像中所有感兴趣的目标（物体)，确定它们的位置和大小，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。

安全帽佩戴检测模型

安全帽佩戴检测是计算机视觉在工业安全领域应用的典型场景。 本文使用PaddleXGUI进行迁移学习训练，可实现安全帽检测模型的0代码开发。 同时介绍了PaddleX的实时视频流预测部署、PaddleHub-Serving。 基于PaddleX /PaddleDetection+Paddle-Lite，也可以实现安全帽检测模型在树莓派上的部署。

2.开发流程

安全帽检测任务：数据集采集与标注、模型开发、模型部署

（1）训练并导出部署模型

PaddleDetection训练ssd-mobilenet检测模型，使用PaddleLite导出部署模型

（2）树莓派环境准备

在树莓派上安装PaddleLite预编译库

（3）拉取部署项目，替换默认标签

到Paddle-Lite-Demo中拉取部著项目示例,并准备好安全帽检测标签

（4）实现蜂鸣器报警模块

微调示例代码，加入蜂呜器报警和检测图片保存模块

3.场景驱动项目：以终为始

从问题找到想解决的场景，为实现某个特定场景的解决方案，探索形成一系列“创意”项目。

（1）一个想法

结合实际问题，产生关于—个场景的想法。

（2）尝试验证

可以从易到难，从最熟悉的思路做起，开始尝试解决方案。

（3）用项目记录进展

一个孤立的项目不能形成一套解决方案，但可以逐步探索，每一次探索可能就产生了新的项目。

4.项目创意：面向不同场景的解决方案

（1）目标检测落地

布匹、白酒等瑕疵检测项目树莓派检测模型全流程系列项目

（2）脚本任务怎么用

各大模型库脚本任务系列项目

（3）比赛or课程

面向比赛和课程开发的项目。

（4）网页、邮件安全解决方案

PaddleNLP系列项目。

5.找官方要灵感:各种“小众”模型库

• Parakeet：有意思的语音合成项目
• PGL：门槛较高的图神经网络
• EasyEdge：潜力巨大的全流程部署平台

三、创意源于生活

• 社会管理：公共场所下的吸烟检测
• 生活出行：日常生活中常见的车辆
• 新闻资讯：2020年3月30日，四川凉山大火
• 日常生活：垃圾分类
• …

1.垃圾分类

作品背景及创意

• 垃圾分类愈发重要
• 垃圾分类进展缓慢

当前的垃圾分类方案

• 只聚焦于手机小程序/APP而忽略实际使用场景
• 只关注于群众是否自觉进行垃圾分类而忽略监管

项目技术可行性评估

• 数据：AIstudio；Kaggle；天池；讯飞
• 训练：PaddlePaddle;PaddleX;Paddlenlp;PaddleGan
• 部署:PC端；树莓派；服务器；小程序/APP

（1）数据获取及处理

在AlStudio等数据集平台选取合适的开源数据集或自己动手制作数据集，并根据自己选取的开发工具对数据集进行适应性处理。

（2）模型训练及压缩

根据部署环境的不同，选取ResNet50_vd_ssld或MobileNet_v3等模型进行针对性训练及压缩。

（3）模型部署

python低代码视频流预测Hub Serving服务化部署EasyEdgeAPP部署

四、看图写诗的创意是如何诞生的

1.项目背景

创意来源：“狗屁不通文章生成器”

2.实现思路

（1）使用目标检测获取图像内物体的信息

就像人类看图说话一样,要想让机器看图"说话”，首先要让机器看懂图片即这张图片是什么。

（2）将识别结果送入文本生成模型

有了图片的关键信息以后,我们需要把这些关键字串起来,因为我们的任务是写诗，所以我们将关键字组合成一首古诗的上阕。

（3）将上阕送入古诗生成模型

因为PaddleHub有生成古诗词的预训练模型，所以根据古诗词的上阕，我们就能很轻松地得到模型生成的下阕，最后组合起来就是一首完整的古诗了。

五、总结

创意在生活中的方方面面，只要能善于发现问题、思考问题、解决问题就能不断开发出好的项目。