
大数据学习
Ben_小b
小b的秃头学习交流群811430241
展开
-
hdfs读写
HDFS(Hadoop Distributed File System) hadoop分布式文件系统上传数据文件到hdfs(hadoop的数据存放位置)hadoop fs -put 文件路径 hdfs存储路径原创 2019-06-18 23:18:25 · 153 阅读 · 0 评论 -
Linux常用命令大全
系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info...转载 2019-06-20 00:19:47 · 263 阅读 · 0 评论 -
Zookeeper集群环境搭建
一. 安装配置说明zookeeper版本:使用zookeeper-3.4.9Linux系统版本:采用Centos 6.8 64位系统每一台虚拟机的网络模型必须是 NAT 模式,并且需要保证每台电脑都可以访问外网。各个服务器时间必须统一。必须具备Java环境。使用SecureCRT操作虚拟机。二. 准备软件及素材Zookeeper安装包jdk安装包(已配置)SecureCR...原创 2019-06-20 01:40:58 · 135 阅读 · 0 评论 -
hadoop集群环境搭建
一. 安装配置说明hadoop版本:使用hadoop2.7.6(下载网址:https://www.apache.org)Linux系统版本:采用Centos 6.8 64位系统(官网:https://www.centos.org 或 者:http://archive.kernel.org/)每一台虚拟机的网络模型必须是 NAT 模式,并且需要保证每台电脑都可以访问外网。各个服务器时间必...原创 2019-06-17 15:05:09 · 237 阅读 · 0 评论 -
50070访问不到的原因之一----namenode没有启动
namenode 默认在/tmp下建立临时文件,但关机后,/tmp下文档自动删除,再次启动Master造成文件不匹配,所以namenode启动失败。在core-site.xml中指定临时文件位置,然后重新格式化,终极解决!hadoop.tmp.dir/usr/grid/hadoop1.7.0_17/hadoop_${user.name}value中的路径只要不是/tmp 就行...原创 2019-06-17 18:39:58 · 3125 阅读 · 0 评论 -
Hadoop的配置文件详解
注:我的示范代码种三台机器的名字为node1、node2、node3,示范代码中需要替换成你自己的1、slavesnode1node2node3hadoop3.0以后slaves更名为workers了2、hadoop-env.sh# 由于hadoop是基于java语言的程序,所以,需要配置JDKexport JAVA_HOME=/server/jdk1.8.0_1713、...原创 2019-06-17 19:04:27 · 1222 阅读 · 0 评论 -
Linux系统装Mysql数据库
1.先到官网地址下载两个包。 下载地址:http://dev.mysql.com/downloads/mysql/5.6.html#downloads 进入下载页面有,选择如下:注意需要下载一个客户端,一个服务器端,两个程序2、检查系统是否已经安装了 mysql mariadb rpm -qa | grep -i mysql rpm -qa | grep -i mariadb 由于 Cent...原创 2019-06-21 23:46:22 · 173 阅读 · 0 评论 -
CentOS 6.8下编译安装MySQL 5.6.14
CentOS 6.8下编译安装MySQL 5.6.14一. 卸载旧版本在 CentOS 系统中安装 MySQL 时,需要确保一点,当前系统必须未安装过 MySQL,如果安装过需要按照以下步骤进行卸载:使用下面的命令检查是否安装有MySQL Server: rpm -qa | grep mysql 如果使用命令查询后,如下所示字样:mysql-libs-5.1.73-7.el6.x86_6...原创 2019-06-22 02:02:03 · 230 阅读 · 0 评论