Python进阶之道

本文介绍了正则表达式的基本语法和使用方法。主要内容包括：1）正则表达式的作用，通过提取薪资数据的案例演示其应用；2）推荐了在线正则表达式验证工具；3）详细讲解了常见语法规则，包括普通字符匹配、通配符（.）、重复匹配（*,+,?）、指定次数匹配（{}）、贪婪与非贪婪模式、元字符转义、字符类型匹配（\d,\s,\w等）以及中括号范围匹配；4）特别说明了起始位置（^）和单行/多行模式的区别。文章通过Python代码示例和可视化工具截图，帮助读者直观理解各种正则表达式的匹配效果，适合初学者快速掌握正则表达式的基础知

最近计划爬取百度招聘里面的内容，准备使用“开发者工具”网络抓包时，却发现只要打开开发者工具，就会跳转到空白页。

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组。在这一节中，我们就来回顾Python 3下MongoDB的存储操作。

lxml库的安装:lxml;lxmllxml需要注意lxml提取完毕数据的数据类型都是列表类型如果数据比较复杂:先提取大节点, 然后再进行小节点操作。

xpath即XML路径语言，在最初时它主要在xml文档中查找需要的信息，而现在它也适用于HTML文档的搜索。W3School官方文档：http://www.w3school.com.cn/xpath/index.aspXPath可以很轻松的选择出想要的数据，提供了非常简单明了的路径选择表达式，几乎想要任何定位功能，XPath都可以很轻松的实现。xpathXPath，解析查找提取信息的语言xml是和服务器交互的数据格式和json的作用一致html是浏览器解析标签数据显示给用户XPath//

作用：发送网络请求，返回响应数据。中文文档：https://requests.readthedocs.io/projects/cn/zh_CN/latest/对于爬虫任务，使用requests模块基本能够解决绝大部分的数据抓取的任务。所以用好requests至关重要。

设计背景及说明依旧使用简单的函数和库，实现自动爬取89免费代理IP并将IP数据发布到本博客目标如图：使用库requests、bs4（爬虫）html2text（html转markdown）pytypecho（发布typecho文章）datetime（获取当天时间作为标题）代码流程导入库import requestsfrom bs4 import BeautifulSoup as BSfrom pytypecho import Typecho,Postimport html2text

什么是cookie：在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用cooki

#urllib库简介urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。urllib 是一个收集了多个使用URL的模块的软件包：urllib.request打开和阅读URLsurllib.error包含 urllib.request抛出的异常urllib.parse用于处理URLurllib.robotparser用于解析robots.txt文件本文只介绍再爬虫中通常需要使用的request模块和parse模块

什么是代理？代理（英语：Proxy），也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器等网络设备具备网络代理功能。一般认为代理服务有利于保障网络终端的隐私或安全，防止攻击。（百度百科）简单来说，代理就是不直接访问目标而是连接另一台终端通过其访问目标，实现IP的变化，对于一些对IP有限制的网站爬取非常有用为什么用代理很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多