Python网络爬虫

最新推荐文章于 2021-11-23 20:17:36 发布

原创最新推荐文章于 2021-11-23 20:17:36 发布 · 405 阅读

2 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何使用Python的requests和BeautifulSoup模块从百度贴吧获取特定主题的帖子列表。通过实例演示了如何设置请求参数、下载网页内容并解析提取所需数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

示例：

#-*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup

url1 = 'http://tieba.baidu.com/f?kw=侏罗纪世界'
url2 = 'http://tieba.baidu.com/f?kw=梦幻西游'
#pra = {'kw':'心理学'}
pra = {'kw':'侏罗纪世界'}
r = requests.get('http://tieba.baidu.com/f',params=pra)
#print r.url
soup = BeautifulSoup(r.text,'html.parser');

responses = list(soup.select('#thread_list > li > div > div.col2_left.j_threadlist_li_left > span'));
print(responses)

for response in responses:
    print response.get_text()
#print soup.prettify()

示例讲解：

1、想在python代码中写中文必须加上第一行的注释，否则python会默认使用ASCLL编码。

2、使用requests模块作为网页下载器。

3、使用第三方模块BeautifulSoup作网页解析。

4、import与from import的区别：

（1）import 模块：使用“模块.函数”形式调用函数；

（2）from 模块 import 函数：直接使用“函数”形式调用函数。