彭世瑜的博客

下载3个所需软件 JDK安装与环境变量配置 下载hadoop，建议使用国内源下载 ，比如：清华大学源 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】 安装配置 这篇文章写的比较好，简单几步就配置成功了 Windows平台安装配置Hadoop 问题解决 WIN7下解压文件提示:可能需要以管理身份运行？ 破解补丁激活WinRAR ...

所需jar包路径： hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin java代码实例 import org.apache.hadoop.conf.Configuration...

MapReduce原理 MapperTask -> Shuffle(分区排序分组) -> ReducerTask MapReduce执行步骤 Map处理任务 读取文件每一行，解析成<key、value>，调用map函数 处理逻辑对key、value处理，行成新的key、value 数据分区 Reduce处理任务 拷贝map任务输出到reduce节点，对map任务...

hive计算示例 先将数据通过sqoop从mysql导入hive，在hive执行mysql的查询语句，得到与mysql一样的执行结果 步骤： mysql数据准备 account账号表 detail收支数据表 CREATE TABLE `account` ( `id` int(11) PRIMARY KEY AUTO_INCREMENT, `account` varchar(20),...

配置ssh免密登录 mac下开启远程登录 系统偏好设置 -> 共享 -> 远程登录 授权免密登录 # 生成秘钥（如果没有） ssh-keygen -t rsa -P '' # 授权免密登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 免密登录 ssh lcoalhost 安装hadoop brew instal...