爬虫第一步

蓝宁宸

于 2022-11-21 15:08:12 发布

阅读量311

点赞数 1

CC 4.0 BY-SA版权

文章标签：爬虫 python 开发语言

本文链接：https://blog.youkuaiyun.com/LAN_chen_ning/article/details/127965112

本文介绍了一种使用Python的requests库来爬取搜狗搜索引擎指定关键词搜索结果的方法。通过输入查询内容，程序会自动获取搜狗网页上的相应数据，并将其保存为HTML文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

获取指定浏览器的指定内容

import requests
url = 'https://www.sogou.com/web'#爬取地址
kw = input('请输入查询内容：')#定义搜索内容
header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.10171 SLBChan/103'
}#建立反反爬机制（模拟请求头信息）
param = {
    'query': kw
}
pa2_pt = kw+'.html'#自定义名称
pa2 = requests.get(url=url, params=param, headers=header)
pa2.encoding = 'utf-8'
pa2_text = pa2.text
with open(pa2_pt, 'w', encoding='utf-8') as f:
    f.write(pa2_text)
    print('爬取完毕')