hadoop
bigDataShare
java,scala,linux,微服务和大数据分享平台.分享你我他
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Could not locate executable null\bin\winutils.exe in the Hadoop binaries 最全大数据技术
目录 1 问题:windows上运行spark代码时候报错 2.问题解决: 3.安装并配置插件(我这里还是Linux版的hadoop安装包,我们只需要下载一个winutils.exe文件即可) 4.直接把解压出来的所有文件放到hadoop解压包下 5.配置好hadoop的环境变量 1 问题:windows上运行spark代码时候报错 2.问题解决: 仔细查看报错是缺少winutils.exe程序。 Hadoop都是运行在Linux系统下的,在win...原创 2020-06-13 10:54:05 · 484 阅读 · 0 评论 -
hive 问题点总结(持续更新~~)
问题1 hive库编码问题 hive加载数据报错日志为 hive> load data local inpath '/export/servers/hivedatas/score.csv' into table score2 partition(year='2018',month='06',day='01'); Loading data to table myhive.score2...原创 2020-01-27 20:30:37 · 299 阅读 · 0 评论 -
linux大数据集群搭建--云服务器 hadoop集群搭建
目录 第一步: hadoop包下载 第二步:上传apache hadoop包并解压 第三步: 修改配置文件 1 修改core-site.xml 2 修改hdfs-site.xml 3 修改hadoop-env.sh 4 修改mapred-site.xml 5 修改yarn-site.xml 6 修改mapred-env.sh 7 修改slaves 8 分发hadoop...原创 2020-01-22 18:08:56 · 866 阅读 · 0 评论 -
linux大数据集群搭建--云服务器 zookeeper集群搭建
目录 第一步:下载zookeeeper的压缩包,下载网址如下 第二步:解压 解压zookeeper的压缩包到/export/servers路径下去,然后准备进行安装 第三步:修改配置文件 第四步:添加myid配置 第五步:安装包分发并修改myid的值,安装包分发到其他机器 第六步:三台机器启动zookeeper服务 第七步:连接到ZooKeeper 第八步:配置环境变量(非必须) ...原创 2020-01-21 18:25:09 · 1888 阅读 · 0 评论 -
hadoop 启动报错 Please update D:\hadoop\conf\hadoop-env.cmd
环境报错问题汇总(持续更新中........) 1 hadoop配置完成以后,启动JAVA_HOME报错 报错提示 Error: JAVA_HOME is incorrectly set. Please update D:\DvlTools\hadoop\hadoop-2.7.7\conf\hadoop-env.cmd 1 环境变量没有设置好,测试java -version...原创 2019-12-05 10:56:33 · 5238 阅读 · 2 评论 -
hadoop集群windows linux安装部署
1. JDK1.8安装(不做解释) 2. 下载hadoop2.7.5.tar.gz,或者自行去百度下载。 3. 下载hadooponwindows-master.zip(后面有用) 安装Hadoop: 下载好Hadoop2.7.5的压缩包之后,解压到目录,我放在D:\hadoop-2.7.5 4 修改hadoop配置文件 1.编辑“D:\hadoop-2.7.5\etc\ha...原创 2019-12-04 18:18:42 · 565 阅读 · 0 评论
分享