
大数据
忙里逍遥
这个作者很懒,什么都没留下…
展开
-
hive初始化元数据库Access denied for user 'atguigu'@'%' to database 'metastore
我将debby数据库换成Mysql数据库的时候,按照配置修改好配置文件后,使用初始化数据库的命令 schematool -dbType mysql -initSchema 初始化数据库的时候出现了下面这个问题:这里是因为用户atguigu的权限有问题(atguigu是我安装Mysql后在mysql上面新建的用户),所以我们需要给atguigu这个用户分配权限。我们先用root账户登录m...原创 2018-11-06 11:50:11 · 1554 阅读 · 0 评论 -
hive数据类型
基础类型:复杂类型:在建表的时候要对行进行处理: row format delimited fields terminated by ',' : 每行中列与列的分隔符是, collection items terminated by '_', array 和 sturct的分隔符是_ map keys terminated by ':' , map 键值对的分...转载 2018-10-31 08:30:16 · 198 阅读 · 0 评论 -
hive java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir...}
在hive-site.xml中加入一下内容: <property> <name>system:java.io.tmpdir</name> <value>/tmp/hive/java</value> </property> <property> <name&原创 2018-10-30 20:10:55 · 1709 阅读 · 1 评论 -
Hive的环境搭建
Hive是一种数据仓库,可以使用sql语句去操作haoop中hdfs中的文件查询。(本质上是把Hive发送的sql语句在内部转换成可以执行的mapreduce程序),(迭代数据无法表达,处理时间较长等缺点)首先,去官网下载Hive的-bin.tar.gz的压缩包,然后发送到虚拟机上。 一:解压:tar -xzvf apache-hive-2.3.3-bin....原创 2018-10-29 18:14:33 · 189 阅读 · 0 评论 -
spark写入hadoop为空
这个主要是因为我使用的本地开发,然后是使用的阿里的服务器,导致写入到hdfs的时候文件写入进去了,但是一直写的都是空文件,原创 2020-09-29 22:36:47 · 522 阅读 · 0 评论 -
geomesa生成数据到hbase:The version of ZooKeeper being used doesn't support Container nodes. CreateMode.PE
这个错误其实是没有错误的,我解决这个问题的时候发现并不是zookeeper版本的问题,而是hbase写入的问题,我期间换了更高版本的zookeeper,但是还是会报这个错误。后来我用java测试hbase写入的时候发现hbase写入不了,解决了用java写入数据到hbase后就可以了...原创 2019-07-26 15:19:27 · 3726 阅读 · 0 评论 -
hadoop无法退出安全模式
首先我在网上找到的都是一模一样的答案,都是使用命令退出安全模式,我先把这两个命令写上吧,一般情况下这两个命令就可以解决常见的一些问题。首先使用下面这一条命令检查安全模式是否开启: bin/hdfsdfsadmin-safemode get输出结果会显示安全模式是属于开启状态还是关闭状态,如果是开启状态,可以使用下面这一条命令来关闭:bin/hdfsdfsa...原创 2019-07-23 15:19:07 · 2785 阅读 · 0 评论 -
启动hadoop报错:Unable to load native-hadoop library for your platform... using builtin-java classes wher
好吧,写之前先吐槽一下百度,这个问题我用百度查了很久,都是千篇一律的答案,网上的答案都是什么更新glib什么重新编译包什么的,都是复制粘贴的,百度确实要好好整理整理了,搞的这么简单的问题我弄了一天都没有弄好,我还更新了,重新编译了,都没有用,谷歌三分钟就搞定了,还是谷歌好用啊。废话不多说了:在etc/hadoop/hadoop-env.sh中的HADOOP_OPTS修改为以下值:expor...原创 2019-07-22 14:13:36 · 2884 阅读 · 0 评论 -
使用start-dfs.sh的时候需要输入密码
配置ssh:语法:ssh-keygen -t rsa然后连按三次回车(就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥))将公钥拷贝到要免密码登录的机器上面:ssh-copy-id hadoop102 现在使用start-dfs.sh就可以不需要输入密码了...原创 2019-02-13 14:51:07 · 3758 阅读 · 0 评论 -
hadoop基础命令
HDFS创建文件夹:hadoop fs -mkdir /foldernameHDFS创建多层文件夹:hadoop fs -mkdir -p /foldername1/foldername2/foldername3从HDFS中删除文件夹:hadoop fs -rm -r /foldername修改文件的权限:hadoop fs -chmod 777 /foldername ...原创 2018-10-29 16:01:57 · 351 阅读 · 0 评论 -
启动namenode的时候没有启动secondarynamenode
这篇文章是在不同的机器上配置namenode和secondarynamenode出现的问题。对于配置文件的写法,可以参考我的这一片文章:https://blog.youkuaiyun.com/qq_37076742/article/details/83104395我出现的问题是在配置有namenode机器上输入start-dfs.sh命令的时候,过一会儿就会一直阻塞在那里,而其它的机器datanode...原创 2018-10-19 11:15:57 · 11739 阅读 · 0 评论 -
在不同的机器上配置secondarynamenode
只需要修改namenode那台主机的配置文件即可:修改hdfs-site.xml:<configuration><property> <name>dfs.replication</name> <value>3</value></property><property&原创 2018-10-17 09:02:04 · 2495 阅读 · 0 评论 -
搭建atlas
参考文档:https://blog.youkuaiyun.com/u012925673/article/details/107513974启动顺序:手动启动hbase手动启动solr手动启动atlas原创 2020-10-14 16:19:50 · 424 阅读 · 0 评论