- 博客(8)
- 收藏
- 关注
RSS订阅原创 hadoop客户端（client）操作
1下载hadoop对应版本的jar包 2.将jar包内容解压到指定的非中文目录下 3.配置环境变量HADOOP_HOME F:\software\hadoop-2.8.2 4.新建工程 创建一个simple的maven工程 com.bigData HDFS main 方法 package com.bigData.hdfs; import java.io.IOException; import ...
2019-12-27 11:31:55
2184
原创 crond定时任务
centos开启crond服务 systemctl start crond.service 45 22 * * * 0 17 * * 1 0 5 1,15 * * 40 4 * * 1-5 */10 4 * * * 0 0 1,15 * 1 crontab -e 但是发现会提示： “/usr/bin/vi” exited with status 1 查看任务列表，也会发现没有创建成功： cront...
2019-12-27 11:30:23
159
原创 linux 集群时间同步
检查ntp是否安装 rpm -qa|grep ntp 如果不是这三个 安装一下 yum -y install ntp 修改ntp配置文件 vi /etc/ntp.conf 1.授权网段上所有服务器都可以从这台服务器查询和同步时间 修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为 restrict 192.168.1.0 m...
2019-12-27 11:29:40
178
原创 hadoop的shell命令
概念 hsdf(hadoop distributed file system) 是分布式文件管理系统的一种 适合一次写入,多次读取的场景，不支持文件的修改，适合做数据分析，不适合做网盘应用 优点 高容错性：多个副本，丢失的副本可恢复 适合处理发数据：数据规模大，文件规模大 在廉价机器上，产生多副本 缺点 不适合低延时访问 无法高效处理小文件 储存小文件的话，它会占用namenode大量的内存来存储...
2019-12-27 11:28:47
208
原创 tengine nginx安装不纯净可能遇到的问题
tengine nginx状态修改命令 ./sbin/nginx -s start ./sbin/nginx -s stop 经多次进程查看 发现用service nginx start 命令启动nginx会多出uer/local 和init.d等目录下的nginx进程 怀疑是对应目录下有nginx文件导致一起启动了 所以关闭全部进程后 才用上面命令去启动nginx 保证使用nginx 正确 ...
2019-12-20 11:20:10
282
原创 scp和rsync比较
scp secure copy (安全拷贝) 定义 实现服务器与服务器之间的数据拷贝。 基本语法 scp -r pdir/pdir/pdir/fileName user@hadoopuser@hadoopuser@hadoophost:pdir/pdir/pdir/fileName 命令 递归 要拷贝的文件 用户@主机 目的路径 rsync 远程同步工具 定义 主要...
2019-12-19 05:42:39
820
1
原创 hadoop单词
attempting 英[əˈtemptɪŋ] 美[əˈtemptɪŋ] v. 努力; 尝试; 试图; [词典] attempt的现在分词; [例句]The school has been attempting to bring a multicultural perspective to its curriculum. 这所学校已经在尝试将一种多元文化视角引入其课程。 [其他] 原型： atte...
2019-12-17 16:40:34
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人