requests 抓取分页评论数据使用pandas写入csv

最新推荐文章于 2023-07-25 17:09:12 发布

原创最新推荐文章于 2023-07-25 17:09:12 发布 · 428 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种使用Python爬取豆瓣网站上图书评论的方法，通过requests库获取网页，lxml解析HTML，pandas处理数据并保存为CSV文件。演示了如何自动化收集多页评论数据。

import requests
from lxml import etree
import pandas as pd
import numpy as np

def comment_gain(url):
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
    r = requests.get (url ,headers=headers )
    t = r.text
    s = etree.HTML ( t )
    x = (s.xpath ( '//*[@id="comments"]/ul[1]/li/div[2]/p/span/text()' )) 
    print(x)
    df = pd.DataFrame ( x )
    return df
if __name__ == '__main__':
    url = 'https://book.douban.com/subject/34857216/comments/hot?p={}'
    for page in range ( 1, 4 ):
       df = comment_gain(url.format(page))
       # path : 你要保存文件的地址
       df.to_csv ( r'path/duanping6.csv', encoding="utf_8_sig",mode='a' )