
hadoop
江湖小小虾
江湖小虾,大数据爱好者,学习者,
展开
-
IDEA + Hadoop工程入门实例 ——Word Count编程
一、 启动IDEA进入/home/iespark/hadoop_program_files/idea-IC-143.1184.17/bin,执行“./idea.sh”。二、 新建工程点击File->new->project,弹出对话框,选择Java->Kotlin(Java)(如图1.1),点击next,输入项目名,项目保存路径,点击Finish,NewWind原创 2016-04-26 09:16:56 · 9168 阅读 · 2 评论 -
转:hadoop-2.5.1安装(包含zookeeper的配置)
hadoop-2.5.1安装(包含zookeeper的配置)转载 2016-04-28 19:34:48 · 475 阅读 · 0 评论 -
基于mysql的Hive数据仓库的搭建
Hive(蜜蜂)一、建立在hadoop上的数据仓库基础架构二、用来警醒数据提取和转换和加载(ETL)--Extract-Transform-Load三、定义了简单的类SQL查询语言。SQL语句转移成M/R Job 然后在Hadoop上执行数据存在数据仓库中,以主题存取。四、Hive表其实就是HDFS的目录。安装条件Ø 安装在Hadoop集群上Ø 安装1)原创 2016-06-25 15:10:18 · 2473 阅读 · 0 评论 -
基于Mapreduce的手机流量统计——Mapreduce大型项目书写流程
Hadoop Mapreduce 手机流量统计(1)分析业务需求: 用户使用手机上网,存在流量的消耗。流量包括两个部分: 其一上行流量(发送信息流量) 其二下行流量(接收信息流量) 每种流量在网络传输过程中,有两种形式说明: 包的大小、流量的大小。 使用手机上原创 2016-07-13 08:57:00 · 2392 阅读 · 2 评论 -
三台机器之间ssh互信配置
转自:https://www.cnblogs.com/bjx2020/p/8565880.html环境介绍:10.111.25.138 idsw-dev-0110.111.25.139 idsw-dev-0210.111.25.140 idsw-dev-03步骤:1.配置hosts文件(每个节点都执行)cat >>/etc/hosts <<EOF...转载 2019-04-25 11:23:44 · 844 阅读 · 0 评论