和云兴-优快云博客

原创 Hadoop 中 MapReduce 分布式计算框架深度解析

通过其独特的编程模型、架构以及丰富的优化策略，它能够满足各种大数据应用场景的需求。从简单的单词计数到复杂的日志分析、数据挖掘和机器学习数据预处理，MapReduce 在大数据处理领域都有着广泛的应用。随着大数据技术的不断发展，MapReduce 也在不断演进和完善，与其他技术如 Spark 等相互补充，为大数据处理带来更多的可能性。本文将深入探讨 Hadoop 中 MapReduce 的原理、架构、编程实现以及应用场景，并通过丰富的图示和示例来帮助读者理解这一强大的分布式计算框架。这就是数据本地化优化。

2024-11-18 14:55:13 1156

原创 Echarts 地图与词云图的绘制之旅

我们可以根据自己的需求自定义词云图的样式，如字体、颜色、形状等。以下是一个示例代码：在上述代码中，我们通过textStyle属性设置了词云图的字体和字体粗细，并通过自定义的颜色函数随机生成字体颜色。同时，我们还设置了词云图的形状为菱形。本文介绍了如何使用 Echarts 绘制地图和词云图，包括基础的绘制方法和数据渲染，以及如何自定义图表的样式。通过以上内容的学习，相信大家已经能够掌握 Echarts 地图和词云图的绘制技巧，并能够根据自己的需求进行进一步的开发和扩展。

2024-10-30 16:41:12 335

原创 K-Means聚类分析

K-Means聚类分析是属于聚类分析的一种，这个数据机器学习的算法；对数据进行自动分组，使得同一组内的数据样本尽可能相似，不同组之间的数据样本尽可能不同，以此来完成用户细分，这就是聚类。K-Means是非监督学习中一种很经典的聚类算法。K代表类别数量，Means代表每个类别内的均值，所以K-Means算法又称为K-均值算法。

2024-10-30 10:23:43 903

原创 MongoDB的基本操作

1 连接数据库2 创建数据库3 查看数据库4 删除数据库5 创建/删除/显示集合6 插入文档7 更新文档8 查询文档9 删除文档。

2024-06-27 23:08:09 4112

原创 MongoDB副本集

（1）数据冗余：副本集可以确保副本结点与主结点数据的更新，以防止单个数据库的服务宕机造成数据丢失的问题。这些副本结点可以和主结点位于同一个数据中心或处于安全考虑分布于其他数据中心（2）自动故障转移：副本集没有固定的主结点，整个集群会选举出一个主结点，当这个主结点不会正常工作时，会选举一个副本结点切换为主结点，客户端会连接到这个新的主结点，并且数据和应用程序都将保持可用。MongoDB副本集实现这样的主/副本切换是自动的，因此副本集是保证MongoDB高可用的基础。

2024-06-27 22:16:56 1754

原创 MongoDB-分片

目录一、分片概念二、为何使用分片？2.1、分片特点2.2、为何分到多个chunk上可以提升读写能力？？三、分片集群Sharded cluster3.1、分片键3.2、分片键索引四、分片分类五、分片键策略与选择逻辑5.1、分片键的限制5.2、分片键的选择逻辑5.3、分片键公式{coarseLocality:1,search:1}六、分片后对查询、写入影响七、分片优势八、分片中的排序规则九、分片中集群部署。

2024-06-27 21:15:44 3653

原创 Python数据分析案例: 电影榜单分析

越小众，占比越少(恐怖片，歌舞片)，越大众，占比越多（爱情，喜剧）。本身基数小的小众风格先天不足，很难在这个榜单中占据多数，而剧情、爱情、喜剧这类老少皆宜，大家都爱看，大家都爱拍的电影基数特别大，能够占据更多的位置是情理之中。这说明，排在电影顶峰的真正好电影不是一个好演员铸就的，而是众多优秀的演员,还有导演，制片等各方人员一起努力创造出来的。大话西游，蝙蝠侠这样的系列电影，一拍几部，同时上榜，似乎比单部电影累计简单许多，余下没有展示出来的多个上榜两部电影的演员也大多数都是依靠系列作品上榜两次的。

2024-06-21 10:36:44 838

原创 MongoDB分片部署（windows）

shard1--4007端口中的数据存储，查看c1集合中的数据，可见分片键id的分布情况和shard1--4006端口完全一样，说明shard1主从复制成功【副本集群部署成功】。配置服务器有三个，即主、副、副。shard2--4008端口中的数据存储，查看c1集合中的数据，可见分片键id的分布情况和shard1完全不同。上述指令指定分片集合为c2，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片。shard1--4006端口中的数据存储，查看c1集合中的数据，可见分片键id的分布情况。

2024-06-11 10:32:02 735

jlq270400的博客