liuxiaowu19911121的专栏

今天参加了滴滴的第一期技术沙龙，主题是大数据处理。了解到现在的Hadoop社区主要包括如下工具：HDFS(hdaoop文件系统)、MapReduce（一次性的任务计算框架）、Hive、Hbase（相当于数据库）、Spark（时间段内的实时处理）、strom（一行数据处理）、kafka（消息发送）、Flume（数据传送）、Yarn（任务调度系统）。首先是HDFS。HDFS是一种文件系统，假设要在10

第一位：王静静 滴滴的任务调度系统 Capricornus 1、数据的依关系：在HDFS上进行标记，同时在关键节点上配置监控指标，以保证任务可回溯执行 2、再调度服务（抛弃传统的每个woker线程一个任务队列）： 1、采用一个中控进程： 1、产生一个任务后，由该进程根据任务所需的资源，来匹配资源处理能力最适合...