小白

什么是爬虫 请求网站并提取数据的自动化程序 Request 与 Response 浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request 服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response. 浏览器收到服务器的Response消息后，会对信息进行相应的处理，然后展示 Re...

Urllib库 什么是Urllib库 Python 内置的HTTP请求库 1. urllib.request 请求模块 2. urllib.error 异常处理模块 3. urllib.parse url解析模块 4. urllib.robotparser robots.txt 解析模块 Python3 与 Python2的区别 python2 ...

Requests库 Requests库是基于urllib库的基础上创建出来的，相对更加方便。 安装Requests库 pip install requests 引入实例 import requests response = requests.get('https://www.baidu.com/') print(type(response)) print(r...

正则表达式 什么是正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑 正则表达式非Python独有， re模块实现 常见匹配模式 re.match re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()...

BeautifulSoup 方便又灵活的网页解析库，处理高效，支持多种解析器。 利用它不用编写正则表达式即可方便的实现网页信息的提取 html = """ <html><head><title>The Dormouse's story</title><head> <body> <p cla

PyQuery 强大又灵活的网页解析库。如果你觉得正则写起来太麻烦，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么PyQuery就是你的绝佳选择。 初始化 字符串初始化 html = """ <div> <ul> <li class="item-0">first item</l...

Selenium 自动化测试工具， 支持多种浏览器。 爬虫中主要用来解决JavaScript渲染的问题 驱动浏览器来做各种动作（跳转、查询、……）——支持主流浏览器 模拟浏览器访问，拿到浏览器渲染后的页面 安装 pip install selenium 基本使用 from selenium import webdriver from selenium.webdriver....

selenium小玩具 selenium是一个自动化的工具，之前写过一次爬虫，感觉挺好玩的。 根据Excel表格中的数据自动填入网页中，需求就是这个。一开始感觉挺简单的，写起来也挺简单的，demo也挺好，就是在用真实数据跑的时候各种BUG··· 想法和现实的差距太大了 实现思路 需要的数据是从Excel表格中获取的，所以我们需要先从Excel表格中读取数据。 访问目标网页，自动输入...

Python爬取百度图库 页面分析 通过Chrome 的开发者模式，我们可以很发现 百度图库是通过ajax 加载图片的。 每一次都会发送一个请求：https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E6...

requests库的基础入门 r = requests.get(url) # r 是Response 信息 # get请求的是Request信息 Response对象包含爬虫返回的内容 Response对象的属性 属性 说明 r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败 r.text HTTP响应内容的字符串形式，即url对应的...