
大数据学习
文章平均质量分 65
zihan_809
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS读数据过程笔记
对程序代码段的理解: Configuration conf = new Configuration(); //先定义环境变量,默认将HDFS工程的两个配置文件加载进来hdfs-site.xml和core-site.xml获取重要参数fs.defaultFS FileSystem fs = FileSystem.get(conf); //定义文件变量实例fs 一共存在七步。...原创 2018-12-05 13:27:26 · 303 阅读 · 0 评论 -
Hadoop的优化和发展
HDFS HA 高可用版本:提供名称节点热备份机制,解决单点故障问题。 并不能解决可扩展性、系统性能和隔离性。 HDFS Federation:存在多名称节点,多个名称节点之间存在的是联盟关系不是备份关系,各个名称节点还是会存在单点故障问题,每个名称节点负责管理自身的命名子空间。(会给其中每一个名称节点进行热备份) YARN: MapReduce 1.0中的资源管理调度功能...原创 2018-12-19 16:25:59 · 499 阅读 · 0 评论 -
NoSQL的四大类型
键值数据库 相关产品:Redis Memcached SimpleDB 数据模型:键是一个字符串对象,值可以是任意类型的数据,比如整型、字符型、数组、列表、集合等 典型应用:涉及频繁读写,拥有简单数据模型的应用,内容缓存,如会话、配置文件、参数、购物车等,存储配置和用户数据星系等移动应用。 优点:扩展性好,灵活性高,大量写操作性能高 缺点:无法存储结构化信息,条件查询效率较低 不适用情...原创 2018-12-09 14:30:10 · 2932 阅读 · 0 评论