
大数据
文章平均质量分 94
Jo@mykine
码到成功
展开
-
Lucene全文检索技术
ES底层实现全文检索功能的倒排索引技术Lucene的方方面面原创 2022-04-10 22:02:41 · 2273 阅读 · 0 评论 -
mycat分库分表理解概要
mysql的主从复制,主要目的是提高查询效率通过增加从节点,分担读负载mycat的分库分表,除了分担查询压力之外,还可以分担写的压力垂直分库:根据业务模块以及要做联合查询的要求,将原本在一个数据库中数据表切分成一个个的子集,将处在同一个子集的数据表移到另外的数据库服务器上部署,或者在同一台机器上的多个数据库中部署,通过mycat将分散的数据库抽象成一个逻辑库,供应用访问,这样程序就想直接访问...原创 2020-06-30 22:31:07 · 257 阅读 · 0 评论 -
YARN框架的认知
YARN概念:是hadoop的资源管理和任务调度的分布式框架主节点ResourceManager:管理整个集群的资源(CPU和内存)接收Client提交的应用从节点NodeManager:每个节点的资源管理(CPU和内存)YARN服务功能ResourceManager,简称RM处理客户端请求启动并监控ApplicationMaster监控NodeManager资源分配与调度ApplicationMaster,简称AM数据切分为应用程序申请资源并分配内部任务任务监原创 2020-05-31 23:58:52 · 277 阅读 · 0 评论 -
Hadoop的基础运行模式
主从架构Master:主节点运行NameNode、ResourceMananger服务进程Slave:从节点,运行DataNode、NodeManager服务进程主要的服务进程详解NameNode,负责记录数据是存在哪个存储空间的,与DataNode通信,通过算法决策将数据分发到节点进行存储DataNode,负责实际数据的存储,反馈所在节点的状态信息给NameNode一个HDFS...原创 2020-04-06 19:04:26 · 495 阅读 · 0 评论