爬虫原理概略

爬虫原理

爬虫可以分为四步

1. 发送请求、接收响应
2. 解析数据
3. 保存数据

发送请求、接收响应

• Request
  1. GET/POST
     • GET
       可粗略理解为：请求参数在请求地址上
     • POST
       请求参数不在请求地址上
  2. 请求URL
  3. 请求头，如USER-AGENT等
  4. 请求体，如POST的表单数据
• Response
  1. 响应状态码，如200成功，404丢失，5xx服务器错误
  2. 响应头，如Cookie
  3. 响应体，数据

解析数据（包括网页、视频、图片）

• 直接解析
• json解析
• 正则表达式
• BeautifulSoup
• PyQuery
• XPath

保存数据

• 文本
• 关系型数据库
• 非关系型数据库（Key-Value形式）
  • MongDB
  • Redis
• 二进制文件（图片）

javascript渲染

• 分析Ajax请求
• Selenium/WebDriver