python爬虫(爬取贴吧第一页,标题,作者,时间,链接,一楼内容只含文本信息)第一版(不用函数,不用类),只能爬取指定网页

import lxml.html
import pymongo
import requests
'''
1.爬取相应主题贴吧,解析出所有帖子(取帖子标题、作者、时间)

2.下载帖子详情页的1楼信息(只要文字,不要多媒体信息)

3.能够点击下一页进行翻页

4.将解析结果存入数据库(mongodb)


'''

#连接mongodb数据库并创建tieba数据库和tiezi集合
client = pymongo.MongoClient(host='localhost', port=27017)
db = client.tieba
collection = db.tiezi

#获取页面信息,并用xpath解析内容,通过页面分析可知道每一个帖子都是一个li
response=requests.get('https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0')

parse_result=lxml.html.fromstring(response.text)

tiezis=parse_result.xpath('//li[@class=" j_thread_list clearfix"]')

#循环遍历取出内容,并拼接帖子url,进入帖子详情页面通过html分析获得一楼文本
for tiezi in tiezis:
    title=tiezi.xpath('.//a[@class="j_th_tit "]/text()')[0]#标题
    author=tiezi.xpath('.//span[@data-field]/@title')[0]#作者
    time=tiezi.xpath('.//span[@ti
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值