
大数据
文章平均质量分 92
我的思路很明确
这个作者很懒,什么都没留下…
展开
-
在CentOS7下利用sqoop组件把mysql数据传入hdfs中
主页,在后面找到Browse Directory就可以看到hdfs对应的数据库下的目录文件,同时也可以下载.import从mysql的webs表中导入数据到hdfs中,创建表,指定目录是webs。利用hdfs命令查看webs对应目录下的数据文件part-m-00000的前二十行。把mysql的驱动包导入sqoop的lib目录下。把sqoop安装包解压到servers目录下。找到sqoop-env.sh文件添加这些内容。#HIVE是要自己取下载包来安装的。进入sqoop安装包所在位置。原创 2022-09-05 17:23:39 · 844 阅读 · 0 评论 -
Hadoop环境快速搭建(伪分布式和完全分布式步骤版)
在JPS中找到DataNode的PID,然后kill -9 PID(DataNode),因为集群的心跳机制,10分钟后可以看到HDFS上面出现一个Dead Nodes 死亡节点,即可达到验证。1.linux虚拟机一台,克隆两台后修改hostname和ip地址再按下列步骤操作(或者创建三个虚拟机,在初始安装界面设置好ip地址和hostname,笔者这里采用第一种)。创建好第一台bigdata111主机后,克隆出两个主机,然后都开启连接上网络并打开第二台主机的终端。1.修改第二台和第三台主机的IP和主机名。..原创 2022-08-30 21:47:40 · 2609 阅读 · 0 评论