大数据平台及组件搭建
关注
分享
扫一扫
哒哒达
我又不上班叫我起床干嘛
展开
-
（大数据七）Scala与Spark平台搭建
Scala平台搭建 （1）解压scala2.11.8 命令：tar -zxvf scala2.11.8.tgz （2）创建软链接 命令：ln -s scala2.11.8 scala （3）配置环境变量 命令：sudo vim /etc/profile 内容处置：添加以下内容 SCALA_HOME=~/apps/scala PATH=$PATH:$SCAL...原创 2019-08-06 20:26:47 · 261 阅读 · 0 评论 -
（大数据六）Hive安装
Hive on derby （1）解压hive1.2.1压缩包 命令：tar -zxvf hive1.2.1 （2）创建软链接 命令：ln -s hive1.2.1 hive （3）配置环境变量 命令：sudo vim /etc/profile 内容处置：添加以下内容 HIVE_HOME=~/apps/hive PATH=$PATH...原创 2019-08-06 20:21:54 · 174 阅读 · 0 评论 -
（大数据五）MySQL在Linux的安装
MySQL在线安装 （1）验证本机是否安装MySQL 命令：yum list installed | grep mysql （2）删除MySQL（若安装过，未安装则略过此步） 命令： ①yum -y remove [MySQL软件名] ②yum erase [MySQL软件名] 命令解释：两个命令任选其一即可 （3）验证是否删除成功 命令： yum list i...原创 2019-08-06 20:18:07 · 172 阅读 · 0 评论 -
（大数据四）搭建HBase
独立模式 （1）解压hbase1.3.1 命令：tar -zxvf hbase1.3.1 （2）创建软链接 命令：ln -s hbase1.3.1 hbase （3）配置环境变量 命令：sudo vim /etc/profile 内容处置：添加以下内容 HBASE_HOME=~/apps/hbase PATH=$PATH:$HBASE_HOME/bin...原创 2019-08-06 19:41:46 · 144 阅读 · 0 评论 -
（大数据三）搭建通过JQM实现的HA平台
手动故障转移 （1）配置名称服务的逻辑名称 命令：vim $HADOOP_HOME/etx/Hadoop/hdfs-site.xml 内容处置：修改dfs.nameservices属性值为myCluster，可以取其他名称，没有添加即可 （2）为名称服务中每个NameNode配置唯一标志符 命令：vim $HADOOP_HOME/etx/Hadoop/hd...原创 2019-08-06 19:39:36 · 384 阅读 · 0 评论 -
（大数据二）hadoop平台伪分布（Pseudo-Distributed Operation）式与完全分布式（Cluster）（on yarn）
搭建Hadoop平台Pseudo-Distributed Operation （1）修改默认文件系统 步骤： ①修改hadoop配置文件$HADOOP_HOME/etx/Hadoop/core-site.xml 命令：vim $HADOOP_HOME/etx/Hadoop/core-site.xml 内容处置：将fs.defaultFS属性值修改为hdfs://localhost:...原创 2019-08-06 19:33:17 · 297 阅读 · 0 评论 -
（大数据一）hadoop平台搭建准备工作及Local模式搭建
搭建Hadoop平台准备工作 （1）克隆虚拟机 步骤：关闭要克隆的无任何配置的虚拟机->右键要克隆的虚拟机->管理->克隆->下一步->下一步->创建完整克隆>命名>等待完成 （2）为普通用户配置超级权限 原因：修改某些系统文件时需要root权限，频繁切换用户可能会导致某些问题，故通过赋予普通用户root权限来避免这...原创 2019-08-06 19:28:16 · 352 阅读 · 0 评论