- 博客(19)
- 收藏
- 关注
RSS订阅原创 【Python爬虫学习-08】Ajax异步数据的学习以及实战演练
例如上面这个网址会发现，这个网站是前后端分离的项目，直接访问网页，在网页的中并没有数据，而且html中夹杂的js又发送请求，来获取到数据并填充到页面上的。现在大多数的书网站都采用的前后端分离的模式来开发的，数据都是通过Ajax请求异步加载的，直接请求目标网站返回的内容中压根就没有数据。思路：先抓取1页的内容，然后观察页面变化的区别，修改对应的url请求即可。然后切换页面查看url的变化，找到规律，修改代码，爬取前10页内容。特别：我们上面访问的岗位信息返回的结果是比较简单的。1、抓取上证A股实时行情。
2024-12-16 23:04:37
413
原创 【Python爬虫学习-07】POST请求参数的学习
1、使用场景在编写爬虫抓取数据时，我们不仅仅有get请求，在一些场景下还会用到psot请求。登录注册参数需要传输大文本内容的时候2、psot请求类型form表单格式request = response.post(url, data=字典参数)json格式request = response.post(url, json=字典参数)
2024-12-14 22:32:40
1515
原创 【Python爬虫学习-06】GET请求参数的学习
在上一篇文章中，我们可以发现url中含有一些？或者$来分割开了我们的url，那么这个是什么呢？接下来我们就来了解一下吧！
2024-12-11 21:28:39
395
原创 【Python爬虫学习-05】数据提取-XPath学习以及豆瓣电影榜T250的数据爬取（下）
在上一篇文章中，可以看到我们可以获取到第一页的所有电影的内容，但是我们想要的时250条电影数据，不是这一页的内容，所以我们就需要考虑怎么才可以连续获取指定个数的数据，所以就需要研究一下url的特点！
2024-12-10 22:01:13
358
原创 【Python爬虫学习-04】数据提取-XPath学习以及豆瓣电影榜T250的数据爬取（上）
写在开头：豆瓣电影榜单的爬取几乎是学习爬虫人员的入门课程之一，也是比较基础的简单的爬虫课程。所谓的爬取数据的思路无非就是访问资源、获取资源、重复获取其他资源、爬取其他数据。
2024-12-09 23:17:44
767
原创 【Python爬虫学习-03】Requests的基本使用以及获取网易云音乐
如果没有请求头，使用代码发送的请求会被服务器检测出来是爬虫代码，从而导致返回的结果不是所需要的内容或者内容不全，这种解决方案就是发送请求时带上header参数，模拟浏览器，欺骗服务器，从而获取和浏览器一模一样的内容。获取的是原始的二进制数据（bytes类型的数据），需要通过decode()方法解码为字符串类型。例子：通过requests向百度首页发送请求，获取百度首页的数据。注意编码和解码的方式必须一样，否则就会出现乱码！以上面的代码为例子，也可以爬取网页的内容。2、str和byte类型的相互转换。
2024-12-09 21:32:32
877
原创 【Python爬虫学习-02】HTTP和HTTPS协议
URL：统一资源定位符。是用于完整的描述internet上网页和其他资源的地址的一种标识方法（通俗来说就是网址）
2024-12-06 09:12:39
340
原创 07-Python标准库的概览
os模块提供了不少与操作系统相关联的函数。建议使用 “import os” 风格而非 “from os import *”。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()。
2022-10-24 14:11:42
152
原创 05-Python数据结构补充
Python中列表是可变的，这是它区别于字符串和元组的最重要的特点，一句话概括即：列表可以修改，而字符串和元组不能。注意：类似 insert, remove 或 sort 等修改列表的方法没有返回值。
2022-10-24 11:40:41
142
原创 Jmeter学习-入门篇
1、模拟对于服务器、网络或对象模拟巨大的负载2、通过创建断言的脚本来验证程序是否能返回期望的结果开源免费、跨平台、支持多协议、小巧、功能强大不支持IP欺骗、使用JMeter无法验证JS程序，也无法验证页面UI，所以要和Selenium配合来完成Web2.0应用的测试。（接口测试）ApacheJMeter.jar 图形化界面启动jmeter.bat windows下命令的启动方式jmeter.sh的linux的启动方式restful语法风格的。
2022-09-21 12:28:17
462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人