大数据王秀权-优快云博客

原创数据可视化：让数据说话的艺术

在当今数字化浪潮汹涌澎湃，数据洪流奔涌不息的时代背景下，数据可视化已然跃升为数据分析与决策流程中那根不可或缺的关键链条。它宛如一位技艺精湛的魔法大师，拥有神奇的魔力，能够将那些原本隐匿于复杂数据深处的宝贵信息，巧妙地转化为极具冲击力与感染力的直观视觉形象。这种从抽象数据到具象图像的华丽转身，不仅仅极大地加速了我们对数据内涵的快速理解进程，使我们能够在瞬间捕捉到数据所蕴含的核心要点，更如同为我们配备了一双敏锐的慧眼，助力我们在数据的浩瀚星空中精准地发现那些隐藏其中的规律与趋势。

2024-12-09 14:42:33 190

原创探索 Hadoop：构建大数据处理的基石

Hadoop 作为大数据处理领域的中流砥柱，以其独特的架构和强大的功能，为企业和组织处理大规模数据提供了坚实的基础。从数据的分布式存储到高效的并行计算，从与其他技术的集成到性能的优化和未来的发展，Hadoop 不断演进和创新，适应着大数据时代的各种挑战和需求。无论是互联网企业、金融机构还是科研领域，深入理解和掌握 Hadoop 技术都将为数据驱动的决策和创新提供无限可能，引领我们在大数据的浩瀚海洋中探索前行，挖掘出更多有价值的信息和知识。

2024-11-18 14:55:16 1122

原创 python回归分许

实例提供某年度个省份国内生产总值GDP、居民消费价格指数、财政支出及税收数据，需要分析个省份税收数据与其他数据间的关系。要求通过线性回归算法，建立国内生产总值、居民消费价格指数、财政支出与税收间的多元线性关系，以达到预测税收值的目标。实例提供某年各省份国内生产总值GDP及税数据，需要分析个省份GDP与税收间的关系，要求通过一元线性回归算法，建立GDP与税收间的一元线性关系，以达成通过GDP预测税收值的明标。多元回归实例中表字段说明。

2024-10-31 09:51:42 680 1

原创 python绘图

先设定，薪资水平用不同的颜色来显示(先取出薪资的取值情况，跟颜色对应，打包，然后转成典)散点图，x是每个月平均工作时长（小时），y取满意度水平，颜色（显示薪资水平）在制作的过程中，编码和画图都是用jupyter制作而成的。引入数据，数据是npz格式，要用numpy去读取数据。引入数据，数据是npz格式，要用numpy去读取数据。引入数据，数据是npz格式，要用numpy去读取数据。设置中文字体，以免画图的时候中文显示有问题。这些是Python简单的四种图形，仅供参考。绘制简单的python的图。

2024-06-19 16:12:37 157

原创 MongoDB分片部署

分片集群中主要由三个部分组成，即分片服务器（Shard）、路由服务器（Mongos）以及配置服务器（Config Server）组成。其中分片服务器有三个：Shard1、Shard2、Shard3；路由服务器有两个：Mongos1和Mongos2；配置服务器有三个：主、副、副。主要有三个主要组件：Shard：用于存储实际数据块，实际生产环境中一个shard server角色可由几台机器组一个replica set承担，防止主机单点故障。

2024-06-05 11:27:58 1334

原创 MongoDB副本集部署(windows)

节点启动可能会出现问题，检查端口是否被占用和路径配置问题。都没有问题则考虑以管理员身份启动cmd。说明：第一个“_id”为副本集名称，“priority”为优先级，数字越大，优先级越高。每一个节点（实例）都创建对应的数据文件（data）和日志文件（log）。本教程演示mongodb4.4副本集部署（一主两从，伪分布式）刚刚配置好的副本集中的从节点是无法进行数据库操作的。（明明是主节点，但却显示从节点）1.切换到admin数据库。

2024-06-05 11:27:41 357

原创爬取链家二手房房价数据存入mongodb并进行分析

本节案例使用的数据为链家的租房信息，源数据来自于链家网站，所以首先要获取网页数据并解析出本案例所需要的房源信息，然后将解析后的数据存储到MongoDB中，最后基于这些数据进行城市租房信息的查询和聚合分析等。1.数据类型问题：爬虫阶段下载的数据可能是文本类型的或者带单位，数据分析需要改为浮点型或者整型，当然也可以在下载的时候处理好。房源数据进行存储后，需要进行数据分析，比如获取不同年份房价（单价）的最小值和最大值，并以条形图的形式展示出来。2.下载的数据若要以年份进行排序，需要提前处理，否则画图会出现问题。

2024-05-12 22:00:00 1736

2301_82176368的博客