- 博客(29)
- 收藏
- 关注
RSS订阅原创 sqoop从mysql导入数据到hdfs之后，多出一些null数据和一些奇怪的数据
问题：sqoop从mysql导入数据到hdfs之后，多出一些null数据和一些奇怪的数据。解决方法：在sqoop_import脚本里面添加/opt/module/sqoop/bin/sqoop import –connect jdbc:mysql://数据库链接/数据库名 –username 用户名–password 密码 –target-dir /zjyz_origin_data/ –delete-target-dir –num-mappers 1 –fields-terminate
2020-05-23 08:50:15
737
1
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
错误信息如下：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask解决方法：1、首先在hadoop集群上看tez是否存在这个问题的关键是tez在否集群上，如果在，问题就解决了，如果不在，那么要上传Tez到集群。下面是尚硅谷给出的方法：...
2020-05-15 19:47:52
9517
3
原创 hive运行引擎Tez出现错误
运行hive之后出现以下问题，Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
2020-05-09 16:55:36
1850
原创 无法访问hadoop102:50070
解决方法：修改C盘下的hosts文件。1.打开“开始”菜单，点击“所有程序”，找到“附件”中的“记事本”。右击，以管理员身份打开。2.这时弹出一个新的记事本窗口，点击“文件”菜单，选择“打开”。3.在“打开”对话框中通过下拉菜单选择到“C:\Windows\System32\drivers\etc”这个文件夹。4、在文件中添加IP和hostname，保存，关闭文件。5、在浏览器中输入hadoop102:50070，成功！...
2020-05-09 15:48:40
1108
原创 启动hadoop集群（三）-启动hive
当hdfs和yarn都启动成功之后，启动hive。[hadoop@hadoop102 ~]$ cd /opt/module/hive/[hadoop@hadoop102 hive]$ bin/hive
2020-05-09 11:33:22
1256
原创 启动hadoop集群（二）-启动hdfs和yarn
启动3台虚拟机后，启动hadoop集群的方式。#停止所有jps服务（该命令在hadoop2这台服务器上执行）$jps#如果只有Jps进程，则跳过停止进程的命令，否则执行。$cd /opt/module/hadoop-2.7.2/$sbin/stop-all.sh#删除三台虚拟机的VERSION[hadoop@hadoop102 hadoop-2.7.2]$ cd /opt/module/hadoop-2.7.2/data/abc/temp/dfs/data/current[hadoop@ha
2020-05-09 11:24:24
1361
原创 启动hive出错
将hdfs和yarn都启动成功之后，启动hive，如下所示：[hadoop@hadoop102 hive]$ cd /opt/module/hive[hadoop@hadoop102 hive]$ bin/hive出现了下面错误：which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_144/bin:/opt/module/hadoop-2.7.2/bin:/opt/mod
2020-05-08 20:27:13
4395
原创 Hadoop运行jps后没有datanode进程
jps没有datenode：1、停止所有jps服务。$cd /opt/module/hadoop-2.7.2/$sbin/stop-all.sh2、删除VERSION$cd /opt/module/hadoop-2.7.2/data/abc/temp/dfs/data/current[hadoop@hadoop102 current]$ lsBP-1881495200-192.168.80.102-1588832599461 VERSION[hadoop@hadoop102 curr
2020-05-08 18:55:09
2565
1
原创 hadoop启动服务出现错误
当启动发生错误的时候，需要3步：1、停止所有进程2、删除data和log文件夹3、hdfs namenode -format 来格式化最后可以重启了。
2020-05-07 16:18:11
275
原创 jps没有namenode和SecondaryNameNode
重新配置core-site.xml[hadoop@hadoop102 ~]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/[hadoop@hadoop102 hadoop]$ vi core-site.xml在该文件中编写如下配置之前的：<!-- 指定HDFS中NameNode的地址 --><property> <na...
2020-05-07 14:34:19
9036
2
原创 java -version出现问题
#java -version时出现以下问题openjdk version “1.8.0_222-ea”OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)解决方法：https://cloud.tencent.com/develo...
2020-05-06 20:31:38
1488
原创 ssh: Could not resolve hostname hadoop102: Name or service not known
Error:ssh: Could not resolve hostname hadoop102: Name or service not known解决方法：将服务器hostname与对应的IP地址加到文件名/etc/hosts中。如：127.0.0.1 localhost192.168.80.101 hadoop101...
2020-05-06 20:14:26
3691
原创 vm下centos设置静态ip
https://blog.51cto.com/14079728/2319648链接: vm下centos设置静态ip.
2020-04-30 19:44:04
163
原创 vmware安装centos
安装过程如下：链接: https://blog.youkuaiyun.com/babyxue/article/details/80970526.创建管理员用户:密码都是123456
2020-04-29 09:56:12
114
原创 centos中同时有python2和pyhton 3，设置默认版本命令
centos中同时有python2和pyhton 3，用以下命令来切换默认版本。网上的其他方法乱七八糟，这个真的是好好用。
2020-04-24 19:50:30
225
原创 阿里云服务器centos7，git clone速度慢解决方法
sudo vim /etc/hosts在文件末尾添加以下两行代码：151.101.72.249 github.global.ssl.fastly.net192.30.253.112 github.com重启电脑，速度杠杠的。（实测有效）
2020-04-24 11:46:45
2126
原创 小白连接阿里云服务器
1、下载putty2、安装putty一直"下一步"3、打开putty按上表操作，输入IP地址，点击“open”。4、出现命令行，输入用户名和密码。5、成功。
2020-04-23 14:55:53
181
原创 rocketmq-client-python的安装和使用
链接: https://github.com/apache/rocketmq-client-python.把让装的包都装上。
2020-04-11 17:04:25
3706
原创 elasticsearch+Postman用法
链接: https://blog.youkuaiyun.com/qq_40663357/article/details/88913439.链接: https://blog.youkuaiyun.com/chengxu_kuangrexintu/article/details/82120615.链接: https://blog.youkuaiyun.com/qq_40663357/article/details/88914591....
2020-04-11 16:57:58
200
原创 elasticsearch+header+postman安装和初次使用
elasticsearch的安装这个已经在之前的博客中介绍过，详细请看https://blog.youkuaiyun.com/qq_20790447/article/details/105436519elasticsearch中的header插件的安装安装过程主要是参考：链接: https://blog.youkuaiyun.com/qq_40663357/article/details/88910133链接...
2020-04-11 15:50:03
214
原创 elasticsearch6.x {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported"
解决方案：加上-H “Content-Type: application/json”初始值：curl -XPUT ‘localhost:9200/accounts’ -d ’{“mappings”: {“person”: {“properties”: {“user”: {“type”: “text”,“analyzer”: “ik_max_word”,“search_analy...
2020-04-11 11:28:00
275
原创 es启动错误：controller process has stopped - no new native processes can be started
问题描述修改 /config/elasticsearch.yml但修改后，es启动失败了（注意：elasticsearch 无法用 root 用户启动，请切换到普通用户）解决方法https://www.cnblogs.com/phpper/p/9803934.html...
2020-04-11 10:59:12
14371
1
原创 vmware上Ubuntu16安装elasticsearch-6.5.0
1、jdk2、安装新建目录进入目录从物理机和虚拟机共享文件夹中复制elasticsearch-6.5.0进入该目录lselasticsearch文件的用户为root，接下来我们来修改：用who命令查看都有哪些用户修改所属用户为当前用户tarena改过来了让她在后台运行运行成功的界面新开一个界面，执行测试命令，成功！来，给自己掌声，(＾－＾)...
2020-04-10 16:50:39
249
1
原创 数据分析师成长之路-linux and python3_01
@TOC数据分析师成长之路耶，今天是我写博客的第一天，开心O(∩_∩)O~~哦。学习已经将近两周了，以前上了一天课，嫌累，就没写，今天想着无论如何也得开始写，so ，现在已经夜里11点多了，也得写。Linux常用命令:1.whoami:是操作系统中用于查看当前有效用户名的命令.who:它是一个linux的命令符，用于识别当前登录的用户。2.pwd显示当前的工作目录。（present...
2019-01-31 00:27:09
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人