
大数据
锦诚明
编程使我快乐,编程让我变得理性,我爱编程
展开
-
Hive运行报错:Java heap space
后来去hive的环境配置文件hive-env.sh里面(第40行)配置heap大小,这里我配置了2G,重新运行无报错。原创 2020-07-05 09:21:25 · 2673 阅读 · 1 评论 -
hiveserver2连接报错:“User: xxx is not allowed to impersonate yyy (state=08S01,code=0)”
解决办法:在hadoop的配置文件core-site.xml中添加或者修改如下配置信息,再重启hadoop和相关软件应该就可以了。原创 2020-07-04 11:30:42 · 2203 阅读 · 1 评论 -
【大数据学习】HDFS编程入门实践
Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop(我已经安装了,安装过程->传送门),其中就已经包含了HDFS组件,不需要另外安装,可以做HDFS的编程实践了。这里主要参考林子雨老师的博客。这里涉及的知识点比较多:分布式文件系统、HDFS简介、HDFS的相关概念、HDFS体系结构、HDFS的存储原理、HDFS的数据读写过程。接下来介绍Linux操作系统中关于HDFS文件操作的常用Shell命令原创 2020-06-02 15:46:51 · 3557 阅读 · 0 评论 -
【大数据学习】在云服务器安装配置伪分布式Hadoop
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop/ 中,伪分布式需要修改2个配置文件 **core-site.xml** 和 **hdfs-site.xml** 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。原创 2020-06-01 17:14:54 · 1546 阅读 · 1 评论