iamdll的专栏

分布式计算开源框架Hadoop入门实践分类： 其他技术类2008-08-29 12:03 26645人阅读 评论(23) 收藏 举报hadoop分布式计算框架mapreduce任务string目录(?)[+]Author :岑文初Email: wenchu.cenwc@alibaba-inc.commsn: cenwenchu_79@hotmail.com

转载自大牛博文，https://blog.youkuaiyun.com/suifeng3051/article/details/480539651.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息 如何分析它 如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（prod...

1 zookeeper如何实现高可用1 zookeeper 多台构成集群实现高可用，有三种角色群首（leader），追随者（follower），观察者（observer）。Leader作为整个ZooKeeper集群的主节点，负责响应所有对ZooKeeper状态变更的请求。它会将每个状态更新请求进行排序和编号，以便保证整个集群内部消息处理的FIFOFollower 的逻辑就比较简单了。除了响应...

场景和目标1、mongodb的目标是：“取代oracle和db2”（财务总监时上市说的）。和RDBMS是竞争关系。2、es的大部分场景是：“一个常见的设置是使用其它数据库作为主要的数据存储，使用 Elasticsearch 做数据检索”（2.X官方文档里说的）。和RDBMS是辅助关系。相同点：1、都是以json格式管理数据的nosql数据库。2、都支持CRUD操作。3、都支持聚合...

大数据技术介绍：01大数据概述大数据技术框架：Hadoop生态系统（1）Hadoop生态系统（2）Hadoop构成:Flume（非结构化数据收集）：Cloudera开源的日志收集系统用于非结构化数据收集Flume特点分布式高可靠性高容错性易于定制与扩展日志收集工具：flumeHadoop构成:Sqoop（结构化数据收集）Sqoop：SQL-to-H...