
hadoop
文章平均质量分 55
Master_slaves
这个作者很懒,什么都没留下…
展开
-
知识点汇总
简介从事于金融大数据开发,整理了一些平时工作中的知识点和工具类,发布在趣说大数据微信公众号,分享工作经验,记录生活点滴,共同学习探讨,我在这等你哦!以下是整理的一些知识点的链接:1 离线数仓常用工具之sqoop (1)MySQL->HDFShttps://t.1yb.co/jVC02 离线数仓常用工具-sqoop(2)HDFS->MySQLhttps://t.1yb.co/jVBS3 工具类之Pyhton创建hive表https://t.1yb.co/jVBK4 Hiv原创 2021-03-16 19:11:26 · 298 阅读 · 0 评论 -
hdfs 常用命令练习
hadoop fs -ls / 查看根目录下的文件列表hadoop fs -mkdir -p /aaa/bbb 递归创建文件目录hadoop fs -cp /xxx /xxxx文件拷贝hadoop fs -cp ir /xxx/ /xxxxx递归拷贝hadoop fs -put /xxx / 上传本地文件 至文件系统的根目录hadoop fs -get /xxx...原创 2019-03-16 01:28:30 · 503 阅读 · 0 评论 -
搭建hdfs分布式文件系统
搭建采用windows108G内存 centos6.6 jdk1.8 4台虚拟机1 上传JDK至虚拟机解压文件 tar -zxvf jdk-8u141-linux-x64.tar.gz 2 配置环境变量增加JAVA环境变量vi /etc/profileexport JAVA_HOME=/app/jdk1.8export PATH=.:$PATH:$JA...原创 2019-03-13 21:33:36 · 742 阅读 · 0 评论 -
通过远程工具上传jdk,并完成配置
1 配置linux的编码方式 解决乱码 /etc/sysconfig/i18n 退出插入模式 esc shift+zz 保存退出 2 上传jdk文件 通过远程连接工具将JDk上传至usr目录下3 创建文件夹big使用mv 命令将jdk文件移进此目录mv jdk-7u71-linux-i586.tar....原创 2018-07-29 13:01:08 · 847 阅读 · 0 评论 -
配置linux网络的坑之IPADDR 等出现Command not found
本想使用ssh客户端工具上传一下jdk安装一下jdk的结果卡在这,记录下来。先上错误截图目录下面开始配置linux的网络环境 一 设置VMware的虚拟地址 点击编辑----->选择虚拟网络编辑器二 修改本地以太网中vmware虚拟出的网卡的Ip三 配置linux的网络信息其他配置完后,修改了eth0文件下图是修改后直接退出保存的截图。...原创 2018-07-22 18:33:17 · 12432 阅读 · 1 评论 -
搭建hadoop环境前期准备搭建修改linux配置
1 安装虚拟机VMWare2 安装Centos3 进入linux环境修改配置 1 进入环境 输入用户名和密码 2 查看系统文件目录 ls 查看文件列表 ls -a 显示所有文件包含影藏文件 ls -l ...原创 2018-07-21 19:11:39 · 264 阅读 · 0 评论