ljy_1997的博客

原创 草稿

草稿 package sss; import java.io.File; import java.io.FileInputStream; import java.io.InputStream; import java.net.URL; public class EncodingDetect { public static void main(String[] args) { ...

原创 YARN集群搭建

因为之前讲解过HDFS高可用完全分布式的搭建，详见：https://mp.youkuaiyun.com/postedit/83036889 1.修改配置文件 进入/opt/hadoop/hadoop-2…6.5/etc/hadoop目录下，修改mapred-site.xml.template文件 mv mapred-site.xml.template mapred-site.xml 并在文件中加入参数 &l...

原创 HDFS小结

HDFS小结

原创 HDFS高可用分布式的搭建

HDFS高可用分布式的搭建 注：此工作的搭建基于完全分布式的基础之上。 参考链接：https://mp.youkuaiyun.com/postedit/83003119 集群规划： (1) 配置免密登录 （如果操作失败，搞乱了各个节点的密钥，删除 .ssh/目录下文件重新配置） node01->node01 node01->node02 node01->node03 node01...

原创 配置集群客户端和eclips

eclipse视图下操作HDFS 在搭建好HDFS完全分布式或高可用性HDFS完全分布式后。 （若未部署参考：https://mp.youkuaiyun.com/postedit/83003119） 具体步骤： 1. 在eclipse中配置hadoop插件 去官网下载相关jar包 找到eclipse安装目录 将下载的jar放入以下目录中（如果没有则自行创建） 2.上述步骤完成后启动eclipse （如果...

原创 HDFS伪分布式模式和完全分布式的搭建

HDFS三种模式的搭建 伪分布式 (1) 配置免密登录 node01->node01 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 (2) 配置JDK export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151 export PATH=$PATH:$JAVA_HOME/...

原创 思维导图

原创 初学大数据

** 初学大数据 day01 大数据 短时间内快速的产生海量的多种多样的有价值的数据 大数据技术： 分布式存储 分布式存储简单的来说，就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备。 分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件...