在路上RalapQ

Hadoop环境部署-JDK部分-------------------------------------------------------------------------------------------------------------    1. 先修改权限        chown -R beifeng:beifeng /opt/    2. 解压JDK到指定的目录下，目...

    1.    首先找到hadoop/etc/hadoop/mapred-site.xml.template文件，重名为mapred-site.xml        修改hadoop/etc/hadoop/mapred-site.xml文件                <!--指定mapreduce程序运行在yarn平台上-->        <proper...

一，MapReduce historyserver(历史服务)1.    历史服务器：查看已经运行完成的应用记录            修改mapred-site.xml            指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机            historyserver是一个轻量级的服务，可以部署在任意一台节点上    2....

1、ssh-keygen -t rsa（hadoop根目录下）    生成密钥对    id_rsa        -》私钥    id_rsa.pub    -》公钥    ssh-copy-id hostname    自己也要给自己发送公钥和私钥    authorized_keys  -》将公钥保存到文件中远程拷贝到其他机器上保存    known_ho...

最近学习大数据上网了解到了其中的一个应用——用户画像。这是我曾经还不知道这么一个概念或者技术时，就曾有过的一个想法，那就是给每个人建立性格档案，不止于性格，就是通过各种标签来描述一个人的方方面面。我相信在互联网时代，国家也在这方面进行着统一建设，各种网络协议规则也慢慢趋于统一，各种数据也有了量的积累，完全可以通过一个人的上网习惯，上网行为了解到这个人百分之八九十的特点。用户画像技术将是未来人文...

一、下载zookeeper安装包在官网中下载，并不推荐该方式下载速度可能比较慢推荐方式：下载地址https://download.youkuaiyun.com/download/suoluo114/10803770二、将安装包上传解压到服务器指定目录执行 tar -zxf zookeeper-3.4.12.tar.gz -C /opt/modules/将zookeeper解压到指定的modul...

完全分布式安装完全分布式是基于上一篇伪分布式环境安装的基础上搭建的。完全分布式与伪分布式区别在于，将节点数增多，datanode分布在其他服务器上。（参考伪分布式环境搭建博客：https://blog.youkuaiyun.com/Suoluo114/article/details/83185815）一、角色分配组件   linux01             linux02           ...