用requests在命令行中实现bing搜索

最新推荐文章于 2025-06-01 14:48:56 发布

原创

最新推荐文章于 2025-06-01 14:48:56 发布 · 751 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

该博客展示了如何利用Python的requests和正则表达式库来从Bing搜索引擎获取关键词搜索结果。首先，定义了不同颜色的样式，然后通过正则表达式匹配网页源代码中的标题、摘要和链接。接着，对提取的数据进行清洗，去除不必要的HTML标签和空白字符。最后，程序会按顺序打印出标题、摘要和链接，并询问用户是否继续到下一页。这是一个基础的网络爬虫应用，适合初学者入门。

import requests
import re
from prompt_toolkit import print_formatted_text,HTML
from prompt_toolkit.styles import Style

# 设置文字颜色
style = Style.from_dict({
    'aaa': '#FFFFFF',
    'bbb': '#44ff00 italic',
    'ttt': '#0000FF'
})

# 正则提取摘要和链接
title_pattern = re.compile('<a.target=..blank..target..(.*?)</a>')
brief_pattern = re.compile('K=.SERP(.*?)</p>')
#link_pattern = re.compile("(?<=(<cite>))(.*?)(?=</cite>)")
link_pattern = re.compile('(?<=(a.target=._blank..target=._blank..href=.))(.*?)(?=(..h=))')

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31'}

# 要搜索多个关键词用+分隔
keyword = input("What you want to search?  ")

page = 0
count = -10
while count < 0:
    url = 'https://cn.bing.com/search?q={}&first={}'.format(keyword,page)
    res = requests.get(url,headers=headers)
    r = res.text
    
    title = tit