
大数据
A.I.C.O
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程
理论知识点 存储模型 架构设计 角色功能 元数据持久化 安全模式 副本放置策略 读写流程 安全策略 存储模型 ·文件线性按字节切割成块(block),具有offset,id ·文件与文件的block大小可以不一样 ·一个文件除了最后一个block,其他block大小一致 ·block的大小依据硬件的IO特性调整 ·block被分散存放在集群的节点中,具有location ·Block具有副本(re...原创 2020-03-19 19:39:57 · 173 阅读 · 0 评论 -
大数据启蒙
学习技术的方式 现在技术的多样性远远超出了我们可支配的学习时间,对于纷杂的技术手段,我们要搞清它的本质,不能因为技术而技术。技术来源于生活,解决的是对应的问题,搞清一项技术有三个要点:What?Why?How?,这样学习就能触类旁通,事半功倍。榨干每一台单机的性能, 分治思想 需求 :我有一万个元素(比如数字和单词)需要存储,如果要查找某一个元素,最简单的遍历方式复杂度是多少?如果我的期望是)O...原创 2020-03-18 18:46:28 · 177 阅读 · 0 评论