jia666666的博客

爬虫辅助工具--headersformat

一、正则表达式re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分，他对所有的语言都通用。注意：re模块是python独有的正则表达式所有编程语言都可以使用re模块、正则表达式是对字符串进行操作因为，re模块中的方法大都借助于正则表达式，故先学习正则表达式。（一）常用正则1、 字符组在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示正则待匹配字符

基础用法from PIL import Image"""mode : 返回图像的模式，常用模式有： L (luminance) 灰度图像，8位像素，表示黑和白 RGB 3x8位像素，为真彩色图像 RGBA 4x8位像素，有透明通道的真彩色 CMYK 4x8位像素，颜色分离，出版图像 P 8位像素，使用调色板映射到其他模式 1 1位像素，表示黑和白，但是存储的时候每个像素存储为8bit YCbCr：3x8位像素，彩色视频格式 I 32位整

Request模块的安装快速上手发送请求传递 URL 参数响应内容二进制响应内容JSON 响应内容原始响应内容定制请求头更加复杂的 POST 请求POST一个多部分编码(Multipart-Encoded)的文件警告响应状态码响应头Cookie重定向与请求历史超时错误与异常Request模块的安装 在cmd中，使用如下指令安装req...

【目录】1 Beautiful Soup1.1 安装与基础配置1.2 基本操作2. 对象的种类2.1 Tag2.1.1 Name2.1.2 Attributes2.1.3 多值属性2.2 NavigableString2.3 BeautifulSoup2.4 Comment3. 遍历文档树3.1 子节点3.1.1 tag的名字3.1.2 .cont...

##前言PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。>官网地址：http://pyquery.readthedocs.io/en/latest/j...

selenium用法详解selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候一、声明浏览器对象注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入from selenium import webdriver#w...

Python: Json实例 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。数据格式可以简单地理解为键值对的集合（A collection of name/value pairs）。不同的语言中，它被理解为对象（object），纪录（record），结构（struct），字典（dictiona...

OS常见函数列表 函数 描述 os.sep 取代操作系统特定的路径分隔符 os.name 指示你正在使用的工作平台。比如对于Windows，它是’nt’，而对于Linux/Unix用户，它是’posix’。 os.getcwd 得到当前工作目录，即当前python脚本工作的目录路径。 os.getenv()和os.putenv 分别...

【目录】1、最简单2、使用 Request3、发送数据4、发送数据和header5、http 错误6、异常处理17、异常处理28、HTTP 认证9、使用代理10、超时11.自己创建build_opener12.urlib.resquest.urlretrieve远程下载13.post请求14.cookie的使用1.获取Cookie保存到变量2.保存co...

正则表达式的简单应用#导入相关的包import re#查找数字#r表示字符串不转义p=re.compile(r'\d+')#数字多次出现#在字符串hgfhdfhk354563546354674中查找，按照规则p制定的正则进行查找#返回结果是None表示没有找到，否则会返回match对象#match把字符串当做一个整体，查看是否满足正则要求m=p.match('hgfhd...

正则表达式 引言： 正则表达式（regular expression）就是用一个“字符串”来描述一个特征，然后去验证另一个“字符串”是否符合这个特征。比如 表达式“ab+” 描述的特征是“一个 ‘a’ 和 任意个 ‘b’ ”，那么 ‘ab’, ‘abb’, ‘abbbbbbbbbb’ 都符合这个特征。正则表达式可以用来： 验证字符串是否符合指定特征，比如验证是否是合法的邮件...