
Hadoop集群安装
Aaron_Wjf
云数据库PostgreSQL,Redis!
PG数据库内核开发!
云数据库PostgreSQL,Redis开发!
Hadoop大数据生态圈套件运维工具--Ambari!
展开
-
Ambari Hadoop 开启HTTPS证书制作始末
1 .下文为开启Ambari HTTPS相应步骤。在集群内每个节点,创建hadoop https目录,执行:mkdir -p /etc/security/hadoopStore;chmod 755 /etc/security/hadoopStore;在Ambari Server节点,生成CA根证书,执行:openssl req -new -x509 -nodes -keyout...原创 2019-01-14 17:06:53 · 1307 阅读 · 0 评论 -
HadoopWeb界面:Hadoop Non DFS Used concept
最近一直在奇怪NonDFSUsed容量是什么东西,然后花了一点时间研究了一番,进而引出了一些小的知识点。上面两幅图是hadoop集群节点的情况,下面一台是63节点的磁盘使用情况,hadoop节点的存储目录就是在/data0下面的。 (1)首先是关于hadoop的存储配置,因为是挂在/data0下面,配置的存储空间就为853个G,这其中有个小配置,dfs.datanode.du.reserved原创 2015-09-23 14:24:40 · 7524 阅读 · 0 评论 -
Hadoop测试-简单分布式程序运行
1.PI计算 1.1 基本步骤 (1)首先切换到hadoop的安装目录下,可以看到hadoop的安装目录中已经自带了一些小程序,都打包在hadoop-examples-1.2.1.jar中,下一步就是如何打开jar包。 (2)在命令行中,直接键入hadoop,可以显示各种命令用法。 可以看到,其中有个jar,用于运行jar文件。 (3)接下来输入hadoop jar hadoop-ex原创 2015-06-13 09:38:14 · 1968 阅读 · 0 评论 -
Hadoop基本操作命令
1.Hadoop的dfs基本操作 凡是hadoop dfs后面跟的都是关于hadoop文件系统的相关命令,这里就简单列举一些常用的关于dfs的操作命令。 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:ha原创 2015-06-13 09:26:26 · 1071 阅读 · 0 评论 -
Hadoop安装
1.前提 Hadoop安装之前必须在主机以及虚拟机中都配置静态IP地址,修改完主机名以及把主机名和IP绑定,并在window中验证将其ping通,这些安装步骤在上文中都已经提到,在此不再详细叙述,具体参见上篇文档。 其次就是JDK安装以及路径的配置,具体的在上篇文档也都已经提及,具体的安装及环境配置参见上篇文档。 2.Hadoop安装步骤 2.1 关闭防火墙 首先查看防火墙状态,如原创 2015-06-13 09:19:09 · 921 阅读 · 0 评论 -
Linux基本操作及使用工具
1.工具使用 首先打开虚拟软件,修改虚拟机的名字,更改虚拟机的网络配置方式,将其改成NAT方式,启动虚拟机。虚拟机启动后在可视化界面中,采取DHCP自动分配方式看虚拟网络自动生成的网络,输入ifconfig查看到自动分配地址192.168.218.129,其次在网络邻居中配好地址。在Linux中手动配置地址,配好ip地址后可用windows命令行ping一下,看看是否连接成功。 远程连接成功原创 2015-06-01 21:45:25 · 1240 阅读 · 0 评论