梦里逆天的博客

Python爬虫——BeautifulSoup的基本使用，使用beautifulsoup4解析网页，以及使用select()、find()、find_all()等方法提取内容。

一、数据来源分析： 1.确定内容、目标>>>音乐榜单数据--榜单id及标题 2.通过开发者工具进行抓包分析二、实现步骤： 1.发送请求，对榜单（排行榜）url地址发送请求 2.获取数据，获取服务器返回的响应数据 3.解析数据，提取榜单id及标题 4.发送请求，对榜单url地址发送请求 5.获取数据，获取服务器返回的响应数据.........

python爬取音乐

python爬取视频，实现步骤：1.发送网络请求；2.获取数据；3.解析数据：提取视频地址及标题；4.发送网络请求：请求每一个视频地址，获取视频二进制数据；5.保存视频。6.通过关键词下载视频/指定一个用户的视频/翻页下载............

python爬取某网站视频，实现步骤：1.发送请求，对于视频信息数据包发送请求；2.获取数据，获取服务器返回的数据；3.解析数据，提取我们想要的内容：视频url地址、视频标题；4.保存数据，将视频内容保存到指定文件夹。.........

B站Python爬虫实战教程之爬取某网站上的视频。实现步骤：1.发送请求，对于视频信息数据包发送请求；2.获取数据，获取服务器返回的数据；3.解析数据，提取我们想要的内容：视频url地址、视频标题；4.保存数据，将视频内容保存到本地文件夹。视频地址：https://www.bilibili.com/video/BV1qJ411S7F6?p=7.........

爬虫数据采集的一般步骤：1.找数据对应的链接地址；2.发送指定地址请求，请求数据；3.数据提取（提取需要的数据）；4.数据保存。B站视频地址：https://www.bilibili.com/video/BV1qJ411S7F6?p=2&vd_source=d9be91178819612cc328c70601ff7616...

文章目录前言一、准备工作二、项目文件1.项目依赖2.项目配置文件3.pojo4.dao接口5.service接口及其实现类6.HttpClient封装工具类7.爬取任务实现8.启动类三、项目执行效果总结前言之前同事分享了一些关于Java爬虫的视频，其中有一个是用HttpClient及Jsoup爬取京东上的一些手机数据（如图片、标题、sku、spu等），同时参考几篇博客后基本实现目标，在此篇做个简单记录。一、准备工作由于需要将爬取到的数据的数据存储到数据库表中，因此需要建库建表。建库建表SQL如