苏凉.py的博客

🐚作者简介：苏凉（专注于网络爬虫，数据分析）🐳博客主页：苏凉.py的博客🌐系列专栏：python网络爬虫专栏👑名言警句：海阔凭鱼跃，天高任鸟飞。📰要是觉得博主文章写的不错的话，还望大家三连支持一下呀！！！👉关注✨点赞👍收藏📂🍒写在前面这不5-20快到了嘛，给各位单身的朋友精心准备了这套“舔狗”语录。当然，舔到了那就不叫舔狗，懂我意思吧! /手动滑稽只要你主动，我们才会有故事！！效果实现随便一句，拿捏的死死的！！源码分享此代码支持抓取不同的页面，只需添加相对应的ur..

爬虫入门从今天开始让我们一起来学习一些爬虫的相关知识吧！这也是我在这个平台上第一次写博客来记录学习过程。有错误请大家多多指教！接下来就让我们一起开始吧！！！（一） 什么是爬虫1.1 爬虫的概念爬虫用于爬取数据，又称为数据采集程序。爬虫的数据来源于网络，而网络的数据可以有web服务器，数据库服务器云存储等等来提供。注：利用爬虫去爬取数据当然要是合法的啦，比如你要爬取的数据必须是公开的而且是非盈利的。1.2. python的爬虫使用python编写的爬虫脚本（程序）可以完成定时，定量，指定目标（

编解码编码的由来： 计算机只能计算和识别二进制，必须让计算机识别文字，才能和计算机进行交互，彼此也才能通过计算机通信。由此，有了ASCII编码的诞生，它起始于50年代后期，在1967年定案，是最初美国国家标准，供不同计算机在相互通信时用作共同遵守的西文字符编码标准。ASCII编码： 八位二进制最多可以表示的十进制数字范围是，0000 0000 ~ 1111 1111 = 0 ~ 255 ，一共256个不同数字。ASCII编码就是将常用的英文字符和符号，与256个数字逐一对应起来形成的对应表。由于计

附：Python中urllib库的使用今天让我们一起走进python爬虫中urllib库的世界吧！！（一）urllib库中的模块urllib库中包含四个常用的模块他们分别是：1. urllib.request用于打开和读取URL2. urllib.error包含urllib.request抛出的异常3. urllib.parse用于解析URL4. urllib.robotparser解析robot.txt文件（二）Urllib.request模块urllib.request 定义了

HTTP状态码当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含HTTP状态码（HTTP Status Code）的信息头（server header）用以响应浏览器的请求。以下为常见的HTTP状态码：200 - 请求成功301 - 资源（网页等）被永久转移到其它URL404 - 请求的资源（网页等）不存在500 - 内部服务器错误http状态码分类HTTP状态码由三个十进制数字组成，第一个十进制数字定义了状态码的

你必须要知道的异常处理方式！建议收藏

请求对象的定制下面我们来学习以下urllib中请求对象的定制。1.UA介绍UA（user agent）中文名为用户代理，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本，cpu类型，浏览器及版本，浏览器内核，浏览器渲染引擎，浏览器语言，浏览器插件等。语法如下：request = urllib.request.Request()...

Cookie反反爬策略，建议收藏！

前面说到获得了第一页的数据。而我们要获得后面的数据时，它们的url地址并不一样。详见下图：> 第一页网址https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%A7%91%E5%B9%BB&sort=time&> page_limit=20&page_start=0>> 第二页网址https://movie.douban.com/j/search_subjects?type.

python中urllib库的1个类型和6个方法大家好,今天让我们具体的来看看urllib库中的类型和方法有哪些吧！以下内容尽量都能让大家通俗易懂。冲冲冲！！！1个类型HTTPResponseHttpRequest对象是浏览器发送过来的请求数据的封装，HttpResponse对象则是你想要返回给浏览器的数据的封装。例：import urllib.requesturl = 'http://www.baidu.com'# 模拟浏览器发送请求response = urllib.reque

ajax的get请求（一）Ajax简介Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。对于传统的网页，如果想更新其内容，那么必须要刷新整个页面，但有了Ajax，便可以在页面不被全部刷新的情况下更新其内容。在这个过程中，页面实际上是在后台与服务器进行了数据交互，获取到数据之后，再利用JavaScript改变网

肯德基餐厅位置查询

Scrapy框架实战应用，建议收藏！

requests库的基本使用

beautifulsoup的基本使用，建议收藏

Scrapy框架！

代理服务器详解，建议收藏！！

selenium的基本使用，建议收藏！！！

xpath详细解析，建议收藏！

requests库简介！！

jsonpath