python初学-爬取网页数据

python初学-爬取网页数据

1,获取网页源代码

import urllib
url = 'http://www.163.com'

wp = urllib.urlopen(url)
file_content = wp.read()

print file_content

2,将网页内容存入文件中

fp = open('163.txt', 'wb') #打开一个文本文件

fp.write(file_content) #写入数据

fp.close() #关闭文件

3，利用正则表达式快速的打印出网页的标题跟链接地址

import re
fp = open('163.txt', 'rb')
content = fp.read()
fp.close()

title = re.search(