- 博客(13)
- 收藏
- 关注
RSS订阅原创 生产HDFS Block损坏恢复最佳实践
一.文件opencv_bigdata.md 上传: -bash-4.2$ hdfs dfs -mkdir /blockrecover -bash-4.2$ echo "www.ruozedata.com" > opencv_bigdata.md -bash-4.2$ hdfs dfs -put opencv_bigdata.md /blockrecover -bash-4.2$ hdfs ...
2020-01-05 12:26:53
415
1
原创 HDFS详解一
block bolck块一般默认为128M,运行一个文件会把这个文件分成一个一个的块来运行 比如160M大小的文件会分成俩个块,第一个是占满的,而剩下的就给第二个块,也就是第一个块128M,第二个快32M 那这时我们想一个问题,文件小而且多会造成什么问题? 比如我们有1亿个小文件,每个文件250个字节,假设我们的namenode是4个g,这时就会把它挤爆,所以我们必须要把小文件给合并成一个差不多的...
2020-01-05 12:17:09
323
原创 Hadoop伪分布式部署之Yarn和Mapreduce
部署yarn mapreduce不用配置,因为它就是运行在yarn上面的,所以只需要配置yarn,我们废话不多说,直接来配置,我直接上代码吧,不会的先看我前面两篇 [hadoop@hadoop002 hadoop]$ cd /home/hadoop/app/hadoop/etc/hadoop [hadoop@hadoop002 hadoop]$ cp mapred-site.xml.templat...
2020-01-04 21:49:18
390
原创 Hadoop伪分布式部署之HDFS二
基础配置hdfs看我上一篇,这篇是进阶,然后在这里我要讲一下,我们配置要配置hostname,因为配置ip的话可能以后在企业会进行ip迁移 然后现在我们开始来配置 namenode(老大):vi core-site.xml,然后配置一下代码 <configuration> <property> <name>fs.defaultFS</nam...
2020-01-04 21:40:29
239
原创 hadoop伪分布式部署之hdfs
部署hdfs 首先先去官网下载hadoop编译完的tar包,可以去appche官网下载地址进行下载 但是我这里建议还是去CDH下载下载地址,因为这里有打补丁,可以减少一些bug 版本的话我建议还是下载hadoop2.x版本的,因为1.x现在没人用了,3.x又太新有bug 然后我们下载的话要下载后面带bin和直接带tar.gz后缀的,不要选择src.tar.gz的 现在我们就开始来部署了 首先我们先...
2020-01-04 13:53:00
433
原创 Linux超级详细部署MySQL环境
通过yum部署 输入yum search mysql 找到mysql-server.x86_64, 然后输入yum install + mysql-server.x86_64进行MySQL服务的安装 这种方法安装简单,缺点就是一般只能够自己学习 通过tar包部署 先要去下载一个tar包Linux的tar包下载地址 然后输入yum install lrzsz 命令安装完后就可以实现windows和l...
2020-01-01 23:11:44
271
原创 Linux命令四
VI编辑器的基本使用 按esc键进入命令行模式 按i或a进入编辑模式 按shift+:进入末行模式 快捷键的使用 gg定位到首行首字符 dd删除光标所在行,ndd删除n行包括光标所在行 dG清空 G 定位到尾行首字,shitf+$定位到尾行最后一个 查找:进入末行模式后 /+查找内容 显示行号:set nu 取消显示:set nonu 权限 r代表4,w代表2,x代表1(表示读写执行) 修...
2019-12-29 20:30:50
183
原创 Linux常见错误一
Permission denied (用户没有此执行权限) 解决办法:切换到root用户:vi /etc/sudoers配置sudo权限,请看我上一篇 ping ip出现异常就是ip输入错误 ping ip+端口号(connection refused):端口号输入错误 ...
2019-12-29 14:33:18
490
原创 Linux命令三
普通用户的超级用户权限(sudo) vi /etc/sudoers 找到## Allow root to run any commands anywhere root ALL=(ALL) ALL 然后在下面添加 用户名称 ALL=(ALL) NOPASSWD:ALL(免密的意思) 然后退出生效:source /etc/sudoers,此时就用户就可以使用sudo了 进程和...
2019-12-29 14:21:38
667
原创 Linux基础命令二
设置输入的快捷方式(alias) alias + 快捷名称=‘想设置的命令(等号前后不能有空格)’ 例如:alias lin = ‘cd /home’ ,表示输入lin命令就可以进入到家目录 但这样设置只是在当前界面有效 alias全局设置有效:vi /ect/profile 在里面添加alias + 快捷名称='想设置的命令 alias个人设置有效:vi ~/.bash_profile或vi...
2019-12-28 21:45:48
219
原创 Linux基础命令1
linux基础命令 ls:查看当前路径下的文件,后加参数选项和文件路径,可省略 ls -a(显示所有文件包括隐藏文件) ls-l == ll (显示文件的所有信息) ls -h(显示文件大小,只能查看文件) -t(按时间对文件进行排序) -r(倒序) du -sh 后面加上文件或文件夹名字 (查看文件或文件大小) cd命令 cd == cd ~ (进入到家目录) cd - (返回上一次操作的路...
2019-12-28 12:48:14
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人