
架构师进阶
zhou_hao_yan
少一些功利主义的追求,多一些不为什么的坚持。
展开
-
大数据-hadoop-服务器-网络拓扑
理论比较枯燥直接上图原创 2021-11-13 19:41:54 · 1498 阅读 · 0 评论 -
大数据-hadoop-hbase-hbase中rowkey的设计原则
rowkey设计三原则 1.1 rowkey长度原则 rowkey是一个二进制码流,可以是任意字符串,最大长度64kb,实际应用中一般为10-100bytes,以byte[]形式保存,一般设计成定长 建议尽可能短;但是也不能太短,否则rowkey前缀重复的概率增大 设计过长会降低memstore内存的利用率和HFile存储数据的效率 1.2 rowkey散列原则 建议将rowkey的高位作为散列字段,这样将提高数据均衡分布在每个RegionServer,以实现负载均..原创 2021-05-03 14:29:45 · 356 阅读 · 1 评论 -
大数据-hadoop-hbase-跳坑
众所周知hbase+phoenix构建hbase二级索引的方式 可以加块查询的速度: Global Indexing(全局索引) create index USER_COOKIE_ID_INDEX on USER ("f"."cookie_id"); 可以用这种方式来指定索引的字段这样可以加奎查询的速度添加索引之后:降到了毫秒级别.注意:要查询的字段不...原创 2020-05-07 20:49:21 · 207 阅读 · 0 评论 -
大数据-hadoop-HBase数据存储原理
HBase广泛用于互联网行业中 他有着高可靠性、高性能、列存储、可伸缩、实时读写的特点底层的具体存储原理如下图具体说明如下:hbase当中的数据存储: 数据存储都是在HRegionServer上面 一个HRegionServer分为两大部分 HLog + region 一个HRegionServer对应多个region regio...原创 2020-05-02 21:23:19 · 446 阅读 · 1 评论 -
大数据-ZooKeeper-Leader选举
leader的选举很重要 如果没有leader怎么办 可以重新选举新的leader ZooKeeper服务器的四种状态:looking:服务器处于寻找Leader群首的状态 leading:服务器作为群首时的状态 following:服务器作为follower跟随者时的状态 observing:服务器作为观察者时的状态------------------------------...原创 2020-04-20 12:29:33 · 243 阅读 · 0 评论 -
大数据-hadoop-mapreduce总结
首先mapreduce的核心思想是分而治之: 即将大的任务拆分成若干个小的任务(map阶段) ,之后再将小的任务的结果合并(reduce阶段)Mapreduce编程指导思想:(8个步骤记下来)mapReduce编程模型的总结:MapReduce的开发一共有八个步骤其中map阶段分为2个步骤,shuffle阶段4...原创 2020-04-14 11:57:24 · 411 阅读 · 0 评论 -
大数据-hadoop-HDFS上传流程图
读流程和写流程类似 就不具体画了原创 2020-04-07 16:15:25 · 248 阅读 · 0 评论 -
大数据-linux集群中的时间同步的问题
大多数集群中是需要时间同步那么什么是时间同步换句话说时间同步就是指多台服务器中的时间要保持一致最简单的例子就是定时任务 ,如果服务器集群中时间没有保持一致的话,就会出现一些意想不到的错误那么 接下来介绍一种时间同步的方式首先要在每台服务器上安装ntpdate--------也就是时间同步的软件-------- yum -y install ntpdate ...原创 2020-03-24 13:50:39 · 381 阅读 · 0 评论 -
玩redis遇到的坑-redis重启之后丢失数据
最近小编在玩redis其中遇到很多坑,其中遇到的一个坑就是刚开始学习的时候-当redis重启后之前存的数据都会被清除了这一点是新手最容易入的坑,当然我也是新手.下面介绍一下解决方法吧第一步 在redis配置文件中添加如下配置redis 127.0.0.1:6380> config get*append*1) "appendonly"2) "yes"3)...原创 2019-01-11 10:05:56 · 21734 阅读 · 2 评论