Sojer的读书笔记

hadoop文件分块大小设置计算方法与原理

数据湖的理念：1、能够存储海量的原始数据 结构化数据 半结构化数据 非结构化数据 二进制数据（图片等）2、能够支持任意的数据格式 底层存储：S3、OSS、HDFS，Parquet、Avro、Orc 数据缓存加速 轻量级索引3、有较好的分析和处理能力 多种数据源接入、数据连接、Schema管理、权限管理， 批处理、流处理、交互式分析、机器学习 ============================= Hudi特性：廉价存储、table schema、acid语义保证，多版本保证、支持流批读写 不需强绑定

转载自：http://blog.sina.com.cn/s/blog_57f61b490101a8ca.html 最近有人讨论到swift副本数是否能够调整，3副本成本过高，如果改成2副本怎么样？多聊了几句以后发现不少人可能都是望文生义，简单的认为副本数只是多一个少一个Copy的问题，并不了解背后的理论依据。所以想写个简单的介绍，普及分布式系统设计的一些基础知识点。这个是按傻瓜版写的，已经知道的同学请自动无视。 不同于传统的集中式存储，对于分布式存储系统来说，因为自身的复杂性，副本数并非简单拍脑..

大数据这个话题实在太大，一篇小文装不下冰山一角。故只写一点自己从Java开发转型到大数据来的心得。 大数据，其实也是分方向的，我总结为两个方向：大数据应用开发与大数据平台开发。区别是什么？简单地说，大数据应用开发是使用生态里的各种组件与平台，去实现各种大数据需求；而大数据平台开发，就是给大数据应用开发者开发这种平台。方向该挑哪个？这几乎没得选，各个公司对大数据的探索演进程度参差不齐，只是用用的，就只需要应用开发，要做数据中台的，就要平台开发。两种岗位对技能要求的区别：应用开发需要懂Hadoop生态，然后会