- 博客(12)
- 收藏
- 关注
原创 Python网络爬虫实战:爬取豆瓣电影评论数据
网络爬虫是自动化获取网页数据的核心技术,广泛应用于数据分析、市场调研等领域。本文以豆瓣电影《封神第二部:战火西岐》的短评数据为例,展示如何通过Python的。:若页面数据通过JavaScript加载,可使用。:用户名、赞同数、评论时间、IP地址、评论内容。通过本文,你可以快速掌握基础爬虫的实现逻辑。库实现评论数据的爬取,并整理为结构化数据。:豆瓣电影《封神第二部:战火西岐》短评页面。BeautifulSoup官方文档。控制爬取速度,减少服务器压力。:通过分析分页URL规律(如。规则,避免爬取敏感信息。
2025-06-05 17:29:45
995
原创 正弦交流电路基础详解
本文系统介绍了正弦交流电路的基本概念和分析方法。主要内容包括:正弦交流电的定义、三要素(幅值、角频率、初相位)和有效值的计算;电阻、电感、电容三种元件在交流电路中的特性;相量法、阻抗计算和功率分析等核心分析方法;以及滤波器、谐振和功率因数校正等典型应用。文章强调掌握正弦量的基本概念、元件特性和相量法的重要性,并建议通过实践巩固理论知识。正弦交流电路是电工电子技术的重要基础,对理解交流电工作原理和电路设计调试具有关键作用。
2025-06-05 17:29:12
532
原创 使用 ECharts 绘制地图和词云图:数据可视化的强大工具
在当今数据驱动的时代,数据可视化已经成为分析、理解和展示数据不可或缺的一部分。通过将复杂的数据转化为直观的图形和图表,我们可以更清晰地发现数据背后的趋势、模式和关系。在众多数据可视化工具中,ECharts(Enterprise Charts)凭借其强大的功能和灵活性,成为了许多开发者和数据分析师的首选。地图和词云图。通过这两个案例,您将掌握 ECharts 的基本使用方法,并能够创建出具有交互性和美观性的数据可视化作品。ECharts 是由百度开源的一个基于 JavaScript 的数据可视化库。
2024-12-08 15:23:02
2512
原创 crontab及hive概述&安装
我们知道,hadoop的hdfs可以存海量数据,这些数据可以是普通的文本文件,可以是音频文件,也可以是视频文件等等。如果想要分析处理hdfs上的文件,则不管文件的内容是结构化(如csv文件)的还是非结构化的,都需要写代码开发mapreduce任务。由于开发mapreduce任务是需要有编程能力的,且需要掌握mapreduce框架的一些知识,是有门槛的,如果只会sql语言的非专业开发人员想要查询、分析一些hdfs上的结构化数据,怎么办呢?这时,hive应运而生。
2024-12-03 17:00:22
1023
原创 聚类分析——K-means算法
K-means 它通过将数据点划分为k个簇,使得每个簇中的数据点尽可能相似,而不同簇之间的数据点尽可能不同。K-means算法的名称来源于其中的k个簇(clusters)和每个簇的均值(mean)。
2024-11-03 13:49:12
1960
1
原创 SQL 视图(Views)
视图是从一个或多个表中导出来的表,它是一种虚拟存在的表,视图的结构和数据都依赖于基本表,视图自身不存储数据。视图可以象表一样使用,比如查询、插入、更新等。
2024-06-19 21:52:27
3189
原创 MongoDB分片部署(windows)
mongos : mongos 就是一个路由服务器,它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的。mongod 集群,数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。连接两个 shard 端口查看分片情况,若两个shard中的数据不同,则说明分片成功!注意:启动服务均为一次性服务,关闭 cmd 即为关闭服务,所以在未完成前,请勿关闭!至此,shard的两个集群配置好了。
2024-06-04 17:24:08
1837
原创 MongoDB副本集部署(windows)
bin>mongod -port 端口号 -dbpath 数据路径 -logpath 日志路径 -replSet 副本集名称。
2024-05-28 16:56:23
353
原创 CAP原则
CAP原则又称CAP定理,是由Eric Brewer在2000年提出的,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)和分区容错性(Partition Tolerance)这三个要素最多只能同时实现两点,不可能三者兼顾。
2024-04-30 16:57:15
166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人