jasonliaoxiaoge的专栏

Flume 是一套分布式的日志收集系统，支持各种数据输出，并支持将数据合并导入hadoop。   Flume 安装需要一定的软件环境： 1.jdk 1.6+ 2.hadoop 安装包 3.flume 软件包   jdk 可以从网上下载，解压后在 /etc/profile 中增加java_home的环境变量即可 hadoop 安装包可以到 https://ccp.cloudera.

线程在一定条件下，状态会发生变化。线程变化的状态转换图如下： 　　1、新建状态(New)：新创建了一个线程对象。 　　2、就绪状态(Runnable)：线程对象创建后，其他线程调用了该对象的start()方法。该状态的线程位于可运行线程池中，变得可运行，等待获取CPU的使用权。 　　3、运行状态(Running)：就绪状态的线程获取了CPU，执行程序代码。 　　4、阻塞状态(Blocked

我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全性方面带来的

CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。 主要方法  public CountDownLatch(int count);  public void countDown();  public void await() throws InterruptedException   构造方法参数指定了计数的次数

在Hadoop集群（CDH4.4, Mv2即Yarn框架）使用过程中，发现处理大数据集时程序报出如下错误： 13/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2% 13/12/02 20:02:18 INFO mapreduce.Job: Task Id : attempt_1385983958793_0001_r_000000_1,

mahout推荐包括两部分，一部分是单机版的推荐，主要是以org.apache.mahout.cf.taste.*包下面；另一种则是hadoop版本的推荐主要是以org.apache.mahout.cf.taste.hadoop.*包下面。下面我们针对hadoop版本进行分析。在org.apache.mahout.cf.taste.hadoop.item包下面的RecommenderJob开始。