python爬取新浪财经新闻正文和评论并对评论做情感分析

最新推荐文章于 2025-10-16 15:01:02 发布

原创

最新推荐文章于 2025-10-16 15:01:02 发布 · 3.4k 阅读

62 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了使用Python爬取新浪财经新闻正文和评论，并对抓取的评论进行了情感分析。通过爬虫技术获取数据，然后利用情感分析工具理解评论的情感倾向。

爬取正文和评论

import urllib.request
from urllib.error import HTTPError
from bs4 import BeautifulSoup
import json
import requests
import pandas as pd



#存入本地txt
def write_article(data,flag):
    if flag == 1:
        file_name = 'newscontent.txt'
        f = open(file_name, 'a', encoding='utf-8')
        f.write(data)
        f.write("\n\n")
        f.close()
    elif flag == 2:
        file_name = 'newscomment.csv'
        name = ['comment','agree']
        comments = pd.DataFrame(list(zip(*data)),columns=name)
        comments.to_csv(file_name)
    else:
        file_name = 'newscomment.txt'
        f = open(file_name, 'a', encoding='utf-8')
        f.write(data)
        f.write("\n\n")
        f.close()


def get_content(url):
    try:
        html = urllib.request.urlopen(url)
    except HTTPError as e:
        return None
    try