- 博客(8)
- 收藏
- 关注
RSS订阅原创 hadoop客户端（client）操作
1下载hadoop对应版本的jar包2.将jar包内容解压到指定的非中文目录下3.配置环境变量HADOOP_HOMEF:\software\hadoop-2.8.24.新建工程创建一个simple的maven工程com.bigData HDFSmain 方法package com.bigData.hdfs;import java.io.IOException;import ...
2019-12-27 11:31:55
2070
原创 crond定时任务
centos开启crond服务systemctl start crond.service45 22 * * *0 17 * * 10 5 1,15 * *40 4 * * 1-5*/10 4 * * *0 0 1,15 * 1crontab -e但是发现会提示：“/usr/bin/vi” exited with status 1查看任务列表，也会发现没有创建成功：cront...
2019-12-27 11:30:23
128
原创 linux 集群时间同步
检查ntp是否安装rpm -qa|grep ntp如果不是这三个 安装一下 yum -y install ntp修改ntp配置文件vi /etc/ntp.conf1.授权网段上所有服务器都可以从这台服务器查询和同步时间修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为 restrict 192.168.1.0 m...
2019-12-27 11:29:40
157
原创 hadoop的shell命令
概念hsdf(hadoop distributed file system) 是分布式文件管理系统的一种适合一次写入,多次读取的场景，不支持文件的修改，适合做数据分析，不适合做网盘应用优点高容错性：多个副本，丢失的副本可恢复适合处理发数据：数据规模大，文件规模大在廉价机器上，产生多副本缺点不适合低延时访问无法高效处理小文件储存小文件的话，它会占用namenode大量的内存来存储...
2019-12-27 11:28:47
172
原创 tengine nginx安装不纯净可能遇到的问题
tengine nginx状态修改命令./sbin/nginx -s start./sbin/nginx -s stop经多次进程查看 发现用service nginx start 命令启动nginx会多出uer/local 和init.d等目录下的nginx进程怀疑是对应目录下有nginx文件导致一起启动了所以关闭全部进程后 才用上面命令去启动nginx 保证使用nginx 正确...
2019-12-20 11:20:10
225
原创 scp和rsync比较
scpsecure copy (安全拷贝)定义实现服务器与服务器之间的数据拷贝。基本语法scp -r pdir/pdir/pdir/fileName user@hadoopuser@hadoopuser@hadoophost:pdir/pdir/pdir/fileName命令 递归 要拷贝的文件 用户@主机 目的路径rsync远程同步工具定义主要...
2019-12-19 05:42:39
778
1
原创 hadoop单词
attempting 英[əˈtemptɪŋ]美[əˈtemptɪŋ]v. 努力; 尝试; 试图;[词典] attempt的现在分词;[例句]The school has been attempting to bring a multicultural perspective to its curriculum.这所学校已经在尝试将一种多元文化视角引入其课程。[其他] 原型： atte...
2019-12-17 16:40:34
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人