python爬虫思路

最新推荐文章于 2024-06-09 17:42:29 发布

转载最新推荐文章于 2024-06-09 17:42:29 发布 · 84 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://blog.51cto.com/molujiang/2059035

文章标签：

#爬虫 #python

本文介绍了使用Python2进行网页数据抓取的方法，包括了urllib、urllib2、re、bs4、requests及scrapy等常用爬虫模块的介绍与应用。通过实例展示了如何解析HTML与XML，并获取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python2
爬虫：从网页上采取数据
爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml
1.urllib
2.request
3.bs4
4.正则re
5种数据类型
(1)数字Number
(2)字符串String
(3)列表List[] 中文在可迭代对象就是unicode对象
(4)元组Tuple()
(5)字典Set{}
爬虫思路：
1.静态 urlopen打开网页------获取源码read
2.requests(模块) get/post请求----获取源码 text()方法 content()方法(建议)
3.bs4 能够解析HTML和XML
#-- coding:utf-8 --
from bs4 import BeautifulSoup
#1
#html="<div>2018.1.8 14:03</div>"
#soup=BeautifulSoup(html,'html.parser') #解析网页
#print soup.div
#2从文件中读取
html=''
soup=BeautifulSoup(open('index.html'),'html.parser')
print soup.prettify()
4.获取所需信息