- 博客(8)
- 收藏
- 关注
RSS订阅原创 Hadoop中的MapReduce计算平均数
一、 大数据时代挑战大数据时代带来了前所未有的挑战，企业需要有效应对并充分利用这些挑战带来的机遇。数据量的增长已经成为企业面临的一个突出问题。随着业务规模的不断扩大和数字化转型的推进，企业每天都会产生大量的数据，这些数据不仅仅是结构化的数据，还包括半结构化和非结构化的数据。这些数据对于企业的运营和决策至关重要，但同时也带来了极大的挑战。传统的数据处理方式已经无法满足大数据时代的需求，因此企业需要采用新的技术和方法来处理这些数据。数据量增长带来的挑战是显而易见的。随着数据量的不断增加，企业需要处理的数据
2024-12-16 19:37:39
694
原创 Python数据可视化基础
数据可视化是数据呈现为图形或图表的技术，它有助于理解和 发现数据中的模式和趋势。Python是一种流行语言，有很多库可以帮助我们进行数据可视化。在本文中，我们将介绍使用Python进行数据可视化的基础步骤。在开始之前，我们要导入一些必要的库，例如Pandaas、Matplob和Seaborn等。设置seaborn的字体，中文用SimHei，英文Arial。引入数据，nps格式，用numpy去读取。注意保存的路径，不然可能会报错！设置pyplot的动态rc参数。部门是销售部，离职是1的数据。
2024-06-29 14:54:48
319
原创 MongoDB基本操夯
这种扫描全集合的查询效率是非常低的，尤其是在处理海量数据时，执行查询操作需要花费几 十秒甚至几分钟的时间，这无疑对网站的性能是非常致命的。如果是写操作，内存还可以把随机的写操作转换成顺序的写操作，总之可以大幅度提升性能。mongodb数据库从节点可以复制主节点的数据，主节点所有对数据的操作都会同步到从节点，从节点的数据和主节点的数据是完全一样的，以作备份。一个集合中可以存储一个键值对的文档，也可以存储多个键值对的文档，还可以存储键不一样的文档，而且在生产环境下可以轻松增减字段而不影响现有程序的运行。
2024-06-09 18:20:03
752
原创 MongoDB副本集部署(windows)
客户端程序（Client Application）通过驱动器（Driver）连接副本集主节点（Primary）进行读写操作，当主节点数据副本发生变化，此时副本节点（Secondary）通过Replication（复制）同步主节点的数据副本，使副本集中副本节点与主节点存储相同数据副本 副本集中的各节点还会通过传递心跳信息（Heartbeat）来检测各自的健康状态。ongoDB官网建议当副本集成员个数大于二时，推荐副本集成员个数为奇数个，而不使用仲裁节点。
2024-06-09 17:44:05
669
原创 MongoDB分片部署（windows）
分片（ Sharding ）技术是开发人员用来提高数据存储和数据读写吞吐量常用的技术之一。简单的来说，分片主要是将数据进行划分后，将它们分别存放于不同机器上的过程。通过使用分片可以实现降低单个机器的压力和处理更大的数据负载功能。分片与副本集主要区别在于，分片是每个节点存储数据的不同片段，而副本集是每个节点存储数据的相同副本所有数据库都可以进行手动分片（ Manual Sharding ），因此，分片并不是 MongoDB 特有的。
2024-05-19 19:04:43
600
原创 MongoDB副本集部署（windows）
副本集成员框架客户端程序（Client Application）通过驱动器（Driver）连接副本集主节点（Primary）进行读写操作，当主节点数据副本发生变化，此时副本节点（Secondary）通过Replication（复制）同步主节点的数据副本，使副本集中副本节点与主节点存储相同数据副本。MongoDB副本集成员数与oplogMongoDB官网建议当副本集成员个数大于二时，推荐副本集成员个数为奇数个，而不使用仲裁节点。
2024-04-24 14:33:27
898
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人