python凤凰新闻数据分析(四)整合

Python 机器学习 基础 之 【实战案例】新闻内容分类实战 Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言,可以应用于以下领域: Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。 阅读详情

python版本:3.5, bootstrap版本:3.3.7, django版本:2.0

通过win+r键进入cmd输入命令:

django-admin.py startproject website
cd website
python manage.py startapp tool
进入website/website/settings.py添加如下代码:
INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    'tool',#此处为添加
]
#最后一行添加如下代码
STATIC_URL = '/static/'

STATIC_ROOT = os.path.join(BASE_DIR, 'collectstatic')

STATICFILES_DIRS = (os.path.join(BASE_DIR, 'static'),)

在最外层website目录下创建static文件夹,进入static文件夹再创建bootstrap文件夹,相应教程可参考django引入bootstrap模板以及图片显示 。

进入tool文件夹修改models.py,可参考python凤凰新闻数据分析(一)python爬虫数据爬取 和python凤凰新闻数据分析(二)爬虫数据写入django sqlite3数据库

然后进入admin.py修改如下:

from django.contrib import admin

# Register your models here.
from .models import *

class InformationAdmin(admin.ModelAdmin):
    list_display = ('title','time','created')

admin.site.register(Information,InformationAdmin)

进入tool文件夹修改views.py,部分代码如下:

from django.shortcuts import render,render_to_response

# Create your views here.
from django.http import HttpResponse
from tool.models import *
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba

def plot(request):
    Information_news = Information.objects.all()
    Information_news_list = []
    I_num = M_num = S_num = E_num = F_num =0 #点击量总和,为之后饼状图数据
    slices = [] #为之后饼状图数据
    for each_I in Information_news:
        I_num += int(each_I.clicks)
        Information_news_list.append(str(each_I))
    slices.append(I_num)
    str_ = "".join(Information_news_list)
    Information_news_text = ' '.join(jieba.cut(str_))

    path = 'msyh.ttc'
    
    wordcloud = WordCloud(font_path=path).generate(Information_news_text)
    plt.imshow(wordcloud,interpolation='bilinear')
    plt.axis("off")
    plt.savefig("C:/pork/website/static/figure/Information.png")
    # 饼状图为点击量比例,需要单独到控制台生成,即python manage.py shell进入控制台,这里有个问题:生成的饼状图会覆盖词云 
    # activities = ['Information','Military','Sports','Entertainment','Finance']
    # cols = ['tan','cadetblue','y','palegreen','plum']
    # try:
    # plt.pie(slices,
    #         explode=[0,0.2,0,0,0],
    #         labels=activities,
    #         colors=cols,
    #         startangle=90,
    #         shadow=False,
    #         autopct='%1.1f%%')
    # except ValueError as e:
    #     pass
    # plt.savefig("C:/pork/website/static/figure/Total.png")
    
    return render(request,'news_plot.html')

在tool文件夹下新建templates文件夹,在tool/templates/创建news_plot.html,可参考django引入bootstrap模板以及图片显示

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8"> 
	<title>新闻网站的数据分析</title>
	<link rel="stylesheet" href="/static/bootstrap/css/bootstrap.min.css">
	<script src="/static/bootstrap/jquery/jquery.min.js"></script>
	<script src="/static/bootstrap/js/bootstrap.min.js"></script>
	<style>
   	.fakeimg {
       height: 400px;
    }
    .img-thumbnail{
    	height: 400px;
    	width: 800px;
    }
 	</style>
</head>
<body>

<div class="jumbotron text-center" style="margin-bottom:0">
  <h1>新闻网站的数据分析</h1>
</div>

<nav class="navbar navbar-inverse">
  <div class="container-fluid">
    <div class="navbar-header">
      <button type="button" class="navbar-toggle" data-toggle="collapse" data-target="#myNavbar">
        <span class="icon-bar"></span>
        <span class="icon-bar"></span>
        <span class="icon-bar"></span>                        
      </button>
      <a class="navbar-brand" href="#">Python</a>
    </div>
    <div class="collapse navbar-collapse" id="myNavbar">
      <ul class="nav navbar-nav">
        <li class="active"><a href="#">主 页</a></li>
        <li><a href="#">词 云</a></li>
        <li><a href="#">关 于</a></li>
      </ul>
    </div>
  </div>
</nav>

{% load static %}

<div class="container">
  <div class="row">
    <div class="col-sm-4">
      <h2>新闻链接</h2>
      <ul class="nav nav-pills nav-stacked">
        <li class="active"><a href="#">资讯</a></li>
        <li><a href="#">军事</a></li>
        <li><a href="#">体育</a></li>
        <li><a href="#">娱乐</a></li>
        <li><a href="#">财经</a></li>
      </ul>
      <h2>新闻点击量比例</h2>
      <div class="fakeimg"><img src="{% static "figure/Total.png" %}" height="400px" width="360px"></div>
      <hr class="hidden-sm hidden-md hidden-lg">
    </div>
    <div class="col-sm-8">
      <h2 class="I">资讯</h2>
      <div class="fakeimg"><img src="{% static "figure/Information.png" %}" class="img-thumbnail"></div>
      <br>
      <h2 class="M">军事</h2>
      <div class="fakeimg"><img src="{% static "figure/Military.png" %}" class="img-thumbnail"></div>
      <h2 class="S">体育</h2>
      <div class="fakeimg"><img src="{% static "figure/Sports.png" %}" class="img-thumbnail"></div>
      <h2 class="E">娱乐</h2>
      <div class="fakeimg"><img src="{% static "figure/Entertainment.png" %}" class="img-thumbnail"></div>
      <h2 class="F">财经</h2>
      <div class="fakeimg"><img src="{% static "figure/Finance.png" %}" class="img-thumbnail"></div>
    </div>
  </div>
</div>

<div class="jumbotron text-center" style="margin-bottom:0">
  <p><span class="glyphicon glyphicon-copyright-mark" aria-hidden="true"></span> 河北金融学院版权所有</p>
</div>

</body>
</html>
修改website/website/urls.py如下:
from django.contrib import admin
from django.urls import path
from tool.views import *

urlpatterns = [
    path('index/',plot),
    path('admin/', admin.site.urls),
]
然后cmd输入:
python manage.py runserver 0.0.0.0:8000
浏览器输入127.0.0.1:8000/index即可看到:

完整代码可下载查看:

https://download.youkuaiyun.com/download/css_aaa/10530705

Python 爬虫实战:爬取热点新闻数据并分析传播趋势 在当今信息爆炸的时代,热点新闻的传播速度与范围对社会舆论、公众认知以及市场动态产生着深远的影响。从政治事件到娱乐新闻,从科技突破到社会热点,新闻传播趋势的分析能够帮助媒体机构优化内容策略、辅助研究人员掌握社会关注焦点、助力企业制定营销方案。 阅读详情

相关推荐

Python 爬虫实战:在凤凰网抓取国际新闻评论数据,洞察国际舆情

通过本文的 Python 爬虫实战,我们成功抓取了凤凰网国际新闻的评论数据,并进行了数据分析和可视化。通过爬虫技术,我们可以快速获取大量的国际新闻评论数据,通过数据分析,可以洞察国际舆情的动态和热点话题。在实际应用中,可以根据需求进一步扩展爬虫功能,例如抓取更多维度的数据、进行更深入的数据挖掘和分析等。

u014481728的博客 1197

0基础友好:基于Python的南京日报新闻分析(一)

URL 爬取部分:从南京日报的搜索结果页中获取新闻的链接。新闻内容爬取部分:访问每个新闻的链接,获取具体的新闻内容,包括标题、发布时间、来源等。首先,我们定义了用于对新闻发布时间进行比较的函数,以确保我们只爬取2021年1月1日之后的新闻。else:该函数的作用是对新闻的发布时间进行比较,只爬取在2021年1月1日之后发布的新闻。start_date定义了我们感兴趣的时间起点(2021年1月1日)。如果传入的time不是datetime对象(例如是字符串),则将其转换为datetime。

weixin_55177462的博客 1199

使用 Python 爬虫爬取凤凰网新闻数据:全面解析与实战操作

凤凰网作为中国知名的新闻网站之一,其提供了广泛的新闻内容,包括政治、经济、文化、科技、娱乐等多个领域。具体而言,我们将会介绍如何使用 Python 进行网页抓取、数据解析与存储,并展示如何对爬取的数据进行清洗、分析与可视化。通过爬取新闻内容、评论等信息,结合数据清洗与分析,我们能够更好地理解新闻的传播规律、情感趋势等。接下来,我们将获取单个新闻的详细内容,包括新闻正文、发布者、发布时间等信息。希望通过本文的学习,你能够掌握如何利用 Python 进行网页抓取、数据解析与存储,并应用于实际的新闻数据分析中。

2201_76125261的博客 872

Python数据分析案例33——新闻文本主题多分类(Transformer, 组合模型) 模型保存

构建了['MLP', 'CNN', 'RNN', 'LSTM', 'GRU', 'TextCNN', 'Attention', 'Transformer', ']” 等14种模型,做新闻的文本主题预测。

weixin_46277779的博客 9143

凤凰网资讯爬虫实战:从零构建国际新闻分类数据采集系统

在信息过载的时代,高效获取结构化新闻数据成为数据分析和舆情监控的基础。本文以凤凰网资讯频道为研究对象,系统讲解如何构建一个完整的国际新闻分类爬虫系统。文章从需求分析、技术选型、反爬策略、数据解析、存储优化到定时调度,提供全链路解决方案。不同于简单Demo,本文代码模块具备生产环境级别的容错机制、日志监控和代理切换能力,并针对2026年凤凰网最新页面结构进行了适配。配有完整可运行代码,适合有一定Python基础但希望进阶爬虫工程化的开发者阅读。目录摘要第一章 项目背景与需求分析1.1 为什么选择凤凰网资讯。

2201_76125261的博客 513

python凤凰新闻数据分析

通过使用python爬虫、django、matplotlib、bootstrap等技术对凤凰新热点新闻的数据可视化分析以及网页展示。

【python】python新闻数据抓取情感分析可视化(源码+数据)【独一无二】

实现一个用于从特定新闻网站获取新闻内容,然后对新闻内容进行情感分析和词频统计,并生成词云图,以便了解新闻的情感倾向和主题关键词。 1. **获取新闻内容**:通过使用 `requests库` 抓取特定新闻页面的内容。

测试开发自动化 2450

Python数据分析与机器学习-新闻分类任务

Python数据分析与机器学习-新闻分类任务 Python数据分析与机器学习-新闻分类任务

python爬取凤凰新闻网_python凤凰新闻数据分析(一)python爬虫数据爬取

标签的内容first_new_td = BeautifulSoup(str(first_new[0]),'html.parser')first_new_item = first_new_td.find_all('td')print(first_new_item[1].text,first_new_item[0].text,first_new_item[2].text,first_new_item[...

weixin_34184444的博客 959

python爬虫,爬百度新闻标题、编辑信息,并作简单数据分析.zip

通过python的beautifulsoup4、request、re库来获取新闻的信息;用了numpy、matplotlib库来进行数据分析、可视化;用了pandas使信息存入csv文件;用了tkinter库来设计界面;用了datetime库来获取今天、昨天两个日期

PID控制参数整定(调节方法)原理+图示+MATLAB调试

序 首先最重要的是了解每个参数调节了系统响应的那些属性,通过观察响应从而调节参数改变属性。 PID的作用概述: 1、P产生响应速度和力度,过小响应慢,过大会产生振荡,是I和D的基础。 2、I在有系统误差和外力作用时消除偏差、提高精度,同时也会增加响应速度,产生过冲,过大会产生振荡。 3、D抑制过冲和振荡,过小系统会过冲,过大会减慢响应速度。D的另外一个作用是抵抗外界的突发干扰,阻止系统的突变。 同时调节的顺序是:P>I>D 下面了解的一个很重要的就是调节的目标,也就是最好的响应曲线.

viafcccy的博客 16万+

python凤凰新闻数据分析(一)python爬虫数据爬取

凤凰网热点新闻 查看网页源代码,发现每个排行的数据在标签<div class="boxTab clearfix">中,共五个div标签 import requests from bs4 import BeautifulSoup url = 'http://news.ifeng.com/hotnews/' req = requests.get(url) html = req.c...

P_的博客 5265

绕过ROS2!在RDK X5上直接用Python调用海康相机C++ SDK的避坑指南

本文详细介绍了在RDK X5上绕过ROS2,直接使用Python调用海康相机C++ SDK的轻量化方案。通过Cython构建Python绑定,提取海康相机SDK核心组件,实现高效图像采集。文章涵盖环境准备、Cython接口设计、编译系统配置及性能优化技巧,特别适合ARM64平台开发者。

weixin_33712987的博客 248

python爬取凤凰新闻网_爬取网易,搜狐,凤凰和澎湃网站评论数据,正负面情感分析...

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号:datayxScrapy爬虫项目基于Scrapy框架的Python新闻爬虫,能够爬取网易,搜狐,凤凰和澎湃网站上的新闻,将标题,内容,评论,时间等内容整理并保存到本地。 项目需求1:爬取网易,搜狐,凤凰和澎湃新闻网站的文章及评论2:新闻网页数目不少于10万页3:每个新闻网页及其评论能在1天内更新项目技术1:设计一个网络爬虫,...

weixin_39928940的博客 751

学习STM32的ADC采集声音

为了采集声音信号,需要一个声音传感器(如麦克风),将声音信号转换为电压信号输入到 ADC 引脚。通过硬件准备、STM32CubeMX 配置和代码实现,我们可以实现将声音信号转换为数字信号,并进行后续处理。STM32 是一款广泛应用于嵌入式系统开发的微控制器平台,其拥有丰富的外设和强大的性能,非常适合进行 ADC(模拟数字转换)的声音采集。函数启动 ADC1 的连续转换模式,然后在一个无限循环中等待 ADC 转换完成,并读取采样结果。四、代码实现 在生成的代码中,会生成一些相关的库文件和示例代码。

m0_75244442的博客 2173

【Flink】Flink提交任务到Yarn报错Unable to close file because the last blockBP enough number of replicas

当使用 HDFS 存储文件时,每个数据块会有多个副本分布在不同的节点上,以确保数据的可靠性和容错性。然而,由于某种原因,最后一个数据块 blk_1101776325_28036289 的副本数量不足,导致无法成功关闭文件。如果确定副本数量正确,并且问题仍然存在,可以尝试手动修复副本不足的情况。异常消息表明在关闭文件时出现问题,我的原因是hadoop上有个节点有问题,导致提交到那个节点的时候,无法传递包到相关的机器上。检查 HDFS 集群的状态,确保所有节点都正常工作,没有节点宕机或网络故障等问题。

九师兄 934

python 评论分析_基于Python-Snownlp的新闻评论数据分析

赵志升 靳晓松 温童童 梁俊花摘 要 网上热点新闻的评论不仅反映了民众对社会热点事件的关注程度,也反映了公众所表现出的各类情感价值和思想动态。基于Python-Snownlp经过数据采集,数据预处理,建立向量模型,数据挖掘与分析对新闻评论中用户观点与情绪进行研究,有效實现舆情分析和监控。关键词 Python Snownlp;网络爬虫;聚类分析;情感分析中图分类号 G2 文献标识码 A 文章编号 1...

weixin_39866087的博客 2707

FFmpeg 开发(01):FFmpeg 编译和集成

尽管 FFmpeg 功能强大,但是由于其采用的是带有传染性的 LGPL/GPL 开源协议,所以一些大厂基本上都是自己独立开发类似的音视频处理库,甚至在接口和组织模块上模仿 FFmpeg 。

字节流动 1万+

新闻数据分析推荐可视化系统

本项目利用Python从多个主流新闻网站(如新浪、腾讯、网易、百度等)实时爬取新闻数据,进行数据清洗和格式化后存储到MySQL数据库中。系统基于Flask + MySQL + ECharts构建新闻数据可视化分析平台,实现新闻来源分布、时间趋势、分类统计、关键词云等多维度可视化分析。支持从8大主流新闻网站(百度、腾讯、新浪、网易、凤凰网、澎湃新闻、央视新闻、微博)爬取最新新闻数据。

weixin_51912275的博客 476

YOLOv8有效涨点,增强型 YOLOV8 与多尺度注意力机制特征融合,附代码,详细步骤

在本实验中,我们通过将双层路由注意(BRA)、广义特征金字塔网络(GFPN)和第四检测头结合到YOLOv8中,开发了一种新颖的BGF-YOLO架构。BGF-YOLO 包含注意力机制,可以更多地关注重要特征,特征金字塔网络可以通过将高级语义特征与空间细节合并来丰富特征表示。此外,我们研究了不同的注意力机制和特征融合、检测头架构对检测准确性的影响。实验结果表明,与YOLOv8x相比,BGF-YOLO的mAP50增加了4.7%。

kay_545 3045

xilinx原语及bank简介

图8是HP bank与HR bank的IO模块,其中PAD是FPGA的金属管脚,IOB是输入、输出引脚的控制模块。此时使用原语就可以只调用需要的组件,不需要去考虑其余组件参数设置,就方便很多,借助此次机会就对IDDR、ODDR、IDELAYE2、ODELAYE2、IDELAYCRTL、ISERDESE、OSERDESE等几个原语做了简要了解,并对原语的各个模式进行了仿真,本文最初是介绍IDDR的,但在介绍IDDR这些原语之前,还需要了解一下7系列FPGA bank的分类和区别,所以就有了本文。

qq_43416206的博客 411

爬取网易,搜狐,凤凰和澎湃网站评论数据,正负面情感分析

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号:datayxScrapy爬虫项目基于Scrapy框架的Python新闻爬虫,能够爬取网易,搜狐,...

datayx的文章 2222

LeRobot 机器人学习(Robot Learning)入门教程(一)

本文介绍了现代机器人学习领域的发展现状与关键技术。随着机器学习进步和大规模机器人数据的普及,机器人技术正从传统基于模型的方法转向数据驱动的学习范式。HuggingFace开发的开源库lerobot实现了端到端集成,支持多种机器人平台和先进算法(强化学习、行为克隆等)。核心创新包括LeRobotDataset标准化格式,统一处理多模态时间序列数据,并支持高效批处理和流式访问。教程涵盖经典机器人学基础、强化学习原理、模仿学习技术和通用模型开发,结合代码示例展示如何构建适应多样化任务的机器人系统。该资源旨在为研究

2506_90492529的博客 1986

python新闻爬虫_基于Scrapy框架的Python新闻爬虫

一、开发背景Python作为数据处理方面的一把好手,近年来的热度不断增长。网络爬虫可以说是Python最具代表性的应用之一,那么通过网络爬虫来学习Python以及网络和数据处理的相关内容可以说是再合适不过了。Scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。相比于传统的爬虫来说,基于scrapy框架的爬虫更加结构化,同时...

weixin_39666931的博客 286

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: python凤凰新闻数据分析(三)新闻数据可视化——词云
下一篇: python eval函数 控制台代码执行 faker函数
PFFFei
博客等级 码龄9年 137粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值