- 博客(4)
- 收藏
- 关注
RSS订阅原创 HIVE安装与配置与Hive常用交互命令
一、hive安装地址 http://hive.apache.org/ 文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 下载地址：http://archive.apache.org/dist/hive/ 二、mysql安装 1、安装包准备 1）卸载自带的Mysql-libs（如果之前安装过mysql，要全都卸载掉） [atguigu@hadoop101 software]$ rpm -qa | grep -i -E
2021-08-12 17:29:20
279
原创 WINDOWS本地运行Hadoop的mapreduce程序配置
1、下载hadoo安装到windows本地。 我这边是下载安装到D盘， D:\hadoop-3.0.0 2、 解压之后进行设置环境变量。 新建 HADOOP_HOME 变量 值 D:\hadoop-3.0.0 Path中增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 3、案例解析 案列背景： 将统计结果按照手机归属地不同省份输出到不同文件中（分区） //输入数据 1 13736230513 192.196.100.1 www.atguigu.com 2481
2021-07-08 19:08:35
760
原创 Mapreduce执行存储问题处理
问题描述： mapreduce程序jar包，导出上传至hadoop集群yarn上执行程序，报出内存不足问题，如图： 问题处理： 1、在/opt/module/hadoop-3.1.4/etc/hadoop/下的mapred-site.xml中添加如下配置：（其中的数字大小可以根据自己电脑的内存大小情况更改）。 <property> <name>mapreduce.map.memory.mb</name> <value>512</value>
2021-07-07 14:33:15
275
原创 配置HDFS的StaticUser
任务背景 （下面界面增加删除修改文件无权限操作问题） 1、修改core-site.xml文件 [atguigu@hadoop101 hadoop]$ pwd /opt/module/hadoop-3.1.3/etc/hadoop 2、vim core-site.xml文件，在文件中增加一个属性。 hadoop.http.staticuser.user atguigu wq 报存并退出。 3、将 core-site.xml 文件 分发到集群其它机器上面。 atguigu@hadoop101 hadoo
2021-07-07 14:21:20
1214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人