python简单爬取安居客

最新推荐文章于 2025-07-05 14:58:35 发布

原创最新推荐文章于 2025-07-05 14:58:35 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫项目收集

爬虫项目专栏收录该内容

0 篇文章

订阅专栏

本文介绍了一个使用Python进行网页爬取的实战案例，重点在于如何伪装浏览器发送请求，通过设置User-agent和请求头来抓取安居客网站的信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取安居客信息

-- coding:utf-8 --

‘’’
让我们的爬虫程序，伪装成浏览器发送请求

定义User-agent
设置请求头
‘’’

#引入需要的模块
import urllib.request
import random

#定义的可用的User-agent
ua=[
‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36’,
‘User-Agent:Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0;’,
‘User-Agent:Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)’,
‘User-Agent:Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)’
]

#随机选择一个ua
user_agent=random.choice(ua)

#定义请求头
my_header = {
‘User-agent’:user_agent
}

#封装请求对象，并且设置请求头数据
url =“https://www.taobao.com”
request=urllib.request.Request(url,headers=my_header)

#发送请求并且获取数据
response=urllib.request.urlopen(request)

print(response.read())
with open(‘gf.txt’, ‘w’) as f:
f.write(response.read())