Big data
关注
分享
扫一扫
Big data
爪 哇
Talk is cheap. Show me the code.
展开
-
大数据技术之Hadoop_MapReduce
参考：《尚硅谷》大数据学习，日常总结。版本：Apache Hadoop 2.7.2mapred-default.xml：http://hadoop.apache.org/docs/r2.7.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml集群配置情况：https://blog.csdn.n...原创 2019-02-21 16:42:55 · 11295 阅读 · 0 评论 -
大数据技术之Hadoop_HDFS
参考：《尚硅谷》大数据学习，日常总结。版本：Apache Hadoop 2.7.2hdfs-default.xml：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml集群配置情况：https://blog.youkuaiyun.com/qq_40794973/article/de...原创 2019-01-31 13:53:14 · 11646 阅读 · 0 评论 -
HDFS_FileSystem 类介绍
FileSystem api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.htmlFileStatus 类：https://blog.youkuaiyun.com/qq_40794973/article/details/88064201HDFS的API操作：https://blog.csdn.n...原创 2019-03-01 20:05:09 · 12130 阅读 · 0 评论 -
HDFS_FileStatus类介绍
FileSystem api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.htmlFileStatus api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileStatus.htmlFileStatu...原创 2019-03-01 17:32:36 · 12149 阅读 · 0 评论 -
Hadoop编译源码（面试重点）
版本：Apache Hadoop 2.7.2下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz查看识别Hadoop是32位还是64位：https://www.linuxidc.com/Linux/2017-03/142049.htm解压后 在第...原创 2019-01-30 18:59:32 · 11579 阅读 · 5 评论 -
Hadoop 的三种运行模式_完全分布式运行模式
版本：Apache Hadoop 2.7.2目录1、虚拟机准备2、编写集群分发脚本xsync3、集群配置4、集群单点启动5、SSH无密登录配置6、群起集群7、集群启动/停止方式总结8、集群时间同步完全分布式运行模式（开发重点）分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK ...原创 2019-01-28 19:47:08 · 12946 阅读 · 1 评论 -
Hadoop 的三种运行模式_本地模式_伪分布式模式
演示的版本是：2.7.2 官方文档 Hadoop运行模式Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站：http://hadoop.apache.org/1、本地运行模式a) 官方Grep案例其实就是按照给定的条件找到符合条件的单词。 $ mkdir input //1、创建在hadoop-2.7.2文件下面...原创 2019-01-26 20:42:13 · 11940 阅读 · 0 评论 -
Hadoop 启动集群时 NameNode 和 DataNode 不能同时启动
Hadoop 启动集群，启动 hdfs 的时候，启动 namenode 和 datanode 的时候 一个启动起来了，另一个又挂掉了：一、切换到 root 用户，看你是否在 root 用户上有相应的进程，有的话需要杀掉。jps 二、正常用户启动的也退掉，整个集群格式化在启动。注：尽量不要用 root 用户去启动集群。...原创 2019-01-29 11:12:54 · 11778 阅读 · 1 评论 -
ntpdate[2819]: no server suitable for synchronization found
NTP 其他机器与时间服务器同步报错：[root@hadoop103 ~]# /usr/sbin/ntpdate hadoop10229 Jan 23:53:17 ntpdate[2819]: no server suitable for synchronization foundYou have new mail in /var/spool/mail/root一、检查NTP服务端...原创 2019-01-29 15:58:33 · 12285 阅读 · 0 评论 -
Hadoop 启动时，服务器上启动起来了两个 DataNode
Hadoop 里面配置完全分布式运行模式，群起集群时配置 slaves 注意事项：/opt/module/hadoop-2.7.2/etc/hadoop/slaves[atguigu@hadoop102 hadoop]$ vi slaves在该文件中增加如下内容：hadoop102hadoop103hadoop104注意：该文件中添加的内容结尾不允许有空格，文件中不...原创 2019-01-29 10:53:07 · 12343 阅读 · 1 评论 -
Hadoop 里面配置伪分布式运行模式时格式化NameNode注意事项
一、首先就是查看进程是否关闭，如果进程没有关闭，就算你删除了 data 和 logs 他又会产生。jps[atguigu@hadoop100 hadoop-2.7.2]$ ll总用量 76drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bindrwxrwxr-x. 3 atguigu atguigu 4096 1月 27 18:1...原创 2019-01-27 16:18:54 · 11322 阅读 · 0 评论 -
hadoop 50070 无法访问问题
一、修改文件 /etc/selinux/config ，把 SELINUX=enforcing 改为 SELINUX=disabledvi /etc/selinux/configSELINUX=disabled二、查看你的 $HADOOP_HOME/etc/hadoop 下的 core-site.xml 和 hdfs-site.xml 是否配置好三、必须在 ...原创 2019-01-27 10:38:56 · 13009 阅读 · 0 评论 -
Linux大数据之Shell编程
Shell编程原创 2019-01-20 19:54:17 · 11344 阅读 · 0 评论