
hadoop
qq_20204415
这个作者很懒,什么都没留下…
展开
-
hadoop客户端(client)操作
1下载hadoop对应版本的jar包 2.将jar包内容解压到指定的非中文目录下 3.配置环境变量HADOOP_HOME F:\software\hadoop-2.8.2 4.新建工程 创建一个simple的maven工程 com.bigData HDFS main 方法 package com.bigData.hdfs; import java.io.IOException; import ...原创 2019-12-27 11:31:55 · 2091 阅读 · 0 评论 -
crond定时任务
centos开启crond服务 systemctl start crond.service 45 22 * * * 0 17 * * 1 0 5 1,15 * * 40 4 * * 1-5 */10 4 * * * 0 0 1,15 * 1 crontab -e 但是发现会提示: “/usr/bin/vi” exited with status 1 查看任务列表,也会发现没有创建成功: cront...原创 2019-12-27 11:30:23 · 131 阅读 · 0 评论 -
linux 集群时间同步
检查ntp是否安装 rpm -qa|grep ntp 如果不是这三个 安装一下 yum -y install ntp 修改ntp配置文件 vi /etc/ntp.conf 1.授权网段上所有服务器都可以从这台服务器查询和同步时间 修改 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为 restrict 192.168.1.0 m...原创 2019-12-27 11:29:40 · 160 阅读 · 0 评论 -
hadoop的shell命令
概念 hsdf(hadoop distributed file system) 是分布式文件管理系统的一种 适合一次写入,多次读取的场景,不支持文件的修改,适合做数据分析,不适合做网盘应用 优点 高容错性:多个副本,丢失的副本可恢复 适合处理发数据:数据规模大,文件规模大 在廉价机器上,产生多副本 缺点 不适合低延时访问 无法高效处理小文件 储存小文件的话,它会占用namenode大量的内存来存储...原创 2019-12-27 11:28:47 · 180 阅读 · 0 评论 -
hadoop单词
attempting 英[əˈtemptɪŋ] 美[əˈtemptɪŋ] v. 努力; 尝试; 试图; [词典] attempt的现在分词; [例句]The school has been attempting to bring a multicultural perspective to its curriculum. 这所学校已经在尝试将一种多元文化视角引入其课程。 [其他] 原型: atte...原创 2019-12-17 16:40:34 · 272 阅读 · 0 评论