m0_37324825的博客

记录一下Hadoop在Windows 10上的部署过程和一些小问题。环境版本java：jdk1.8.0_111Hadoop: hadoop-2.7.3配置Hadoop前需要配置java的环境，网上教程很多，在此不再详述。文件下载1.下载Hadoop的部署包（非src源码包）并解压。2.下载hadoop在windows上运行所需的bin包。2.7.3版本的hadoop可至如下链接下载。如果其他版本，...

数据库操作 创建数据库 以下示例创建了一个mydb数据库。用dfs查看/user/hive/warehouse目录，可发现多出了一个mydb.db的文件夹。 hive> create database if not exists mydb; OK Time taken: 1.178 seconds hive&a

Hive入门(一)：Hive Shell的基本操作 总结Hive基本的命令行操作 进入Hive部署包的bin目录，在命令行输入./hive启动hive cli。 $ cd /user/home/apache-hive-2.2.0-bin/bin $ ./hive 变量和属性 命名空间 使用权限 描述 hivevar 读/写 用户自定义变量 ...

装载数据 本地有数据文件products.dat，内容如下。 F-000212,Dali milk,2.0,food,China F-002839,Ice cream,12.0,food,China F-000233,Banana milk,5.0,food,China E-001283,Water watch,399,electronics,China E-230004,S007 Pho...

select 查询显示表名 查询所有列 查询指定列并指定列别名 查询集合数据类型列 查询Array元素 查询Map元素 查询Struct元素 查询计算列 算数运算符 运算函数 数学函数 聚合函数 表生成函数 Limit函数 嵌套select 语句 case语句 where语句 浮点数比较问题 模糊匹配 like rlike group by select 首先可...

join music表 M-0001,Valder Fields,S-0001,L-0001 M-0002,A Step You Can't Take Back,S-0002,L-0002 M-0003,For You,S-0003,L-0003 M-0004,Life is like a Boat,S-0003,L-0003 M-0004,Fake Song,<unknow>,&

环境： 操作系统：Windows 10 Hadoop版本：2.7.3 Java版本: 1.8 前期准备： 1. 配置hadoop环境。 按【Windows部署Hadoop（无Cygwin）】的方法配置Hadoop环境。 2. 配置maven环境。 1.下载maven部署包apache-maven-3.5.3-bin.zip，解压到D:\envpath\apache-ma...

1.只能本地运行 具体问题 通过hadoop jar的方式提交jar包，但是只能本地运行Local_job。 解决方法 hadoop部署包下/etc/hadoop/yarn.xml配置出错。缺少如下配置，添加即可。 <property> <name>mapreduce.framework.name&am