从零到一：如何使用亮数据代理快速收集训练数据打造自己的AIGC大模型

前言

近年来，AIGC大模型火得一塌糊涂，大学的专业正好是人工智能专业，赶紧上车抓住风口，做一个电商AI识别大模型项目。项目使用PyTorch搭建卷积神经网络模型、训练模型和使用模型进行图像识别，使用Java+Selenium+ChromeDriver+Jsoup爬取数据集，并在爬取数据时做好分类。由于我们所需要的数据集非常多，所以还需要使用亮数据动态IP代理，解决单位时间内频繁访问来源网站、下载商品图片的问题。

亮数据代理快速的收集训练数据集数据，打造自己的AIGC大模型

项目内容

图像识别的过程一般可以分成以下几个步骤：

• 建立图像（包含标签）数据集；
• 加载到神经网络进行训练，得到模型文件
• 加载新图片（不在数据集），对图像进行处理（灰度、滤波去噪声、轮廓提取、腐蚀等）
• 与模型文件进行匹配，最后得到预测结果

项目进展

工欲善其事必先利其器，今天我们花一些时间做一个自动化收集数据集以及自动分类的工具，

1、本章节事项

• 确定2个分类
• 寻找来源网站
• 编写代码，收集数据，并按照分类存放图片
• 解决网站反爬策略（使用亮数据动态IP代理）

1.1、确定2个分类

在观测一些电商网站数据以及综合日常生活后，我们选择其中2个爆款分类：手机、化妆品的细分分类，苹果手机和面霜。

1.2、寻找来源网站

确定了分类后，我们去寻找苹果手机、面霜2个分类数据的来源网站，我们首先把目标定为京东、淘宝、唯品会、得物。我们在按顺序评测这几个目标网站的优缺点后（对编写收集数据的程序是否有阻碍），确定了唯品会可以作为我们的数据集来源网站。

1.2.1、京东搜索

京东搜索的网址：https://search.jd.com/Search?keyword=苹果手机
缺点：需要登录才能使用京东搜索（手机站也一样需要登录验证）

1.2.2、淘宝搜索

淘宝搜索的网址：https://s.taobao.com/search?ie=utf8&page=1&search_type=item&tab=all&q=苹果手机
缺点：需要登录才能使用淘宝搜索（跟上面的京东搜索一样）

1.2.3、唯品会搜索

唯品会搜索的网址：https://category.vip.com/suggest.php?keyword=苹果手机
优点：在不需要登录的情况下，就可以使用唯品会搜索功能

1.3、编写代码，收集数据，并按照分类存放图片

我们使用Java+Selenium+ChromeDriver+Jsoup爬取数据集，并在爬取数据时做好分类。

• 1、安装Idea+jdk8+Maven3（可自行百度，案例非常多）；
• 2、创建Java Maven项目（方便管理jar包）；
• 3、下载ChromeDriver ， chrome浏览器（可自行百度，案例非常多）；
• 4、在Java项目里加载Selenium+ChromeDriver+Jsoup的jar包；
• 5、编写代码从唯品会网站收集苹果手机、面霜分类数据ÿ