爬取星座运势数据并进行词频分析

最新推荐文章于 2022-10-25 13:08:44 发布

原创

最新推荐文章于 2022-10-25 13:08:44 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用爬虫从星座屋网站抓取十二星座30天的运势信息，并将数据整理成Excel表格。进一步，通过在线工具进行词云分析，以可视化的方式展示了运势词频，揭示了运势中的关键词分布。

试着自己做了下爬虫，从星座屋网站爬取十二星座30天的运势数据。

import requests
from bs4 import BeautifulSoup
import pandas as pd

#获取12星座的网址
urll='http://www.xzw.com'
r=requests.get(url='http://www.xzw.com/fortune/aries/')
soup=BeautifulSoup(r.text,'lxml')
a=soup.find('div',class_="card_xingzuo").find_all('a')
urllst=[]
for each in a:
    urllst.append(urll+each.get('href'))
   
#获取每个星座30天的数据
datalst=[]
for ui in urllst:
    ri=requests.get(url=ui)
    soupi=BeautifulSoup(ri.text,'lxml')
    alst=soupi.find('div',class_="lday").find_all('a')
    urllst2=[]
    for each in alst:
        urllst2.append(urll+each.get('href'))
    for u in urllst2:
        r=requests.get(url=u)
        soup=BeautifulSoup(r.text,'lxml')
        dic={}
        lilst1=soup.find('div',class_="c_main")
        if lilst1 is None:    #狮子座有一个网页是空的
        continue
        else:
            lilst=lilst1.find_all('li')
            dic['星座']=lilst1.find('h4').text
        for i in