weixin_45863062-优快云博客

原创 nacos

下载安装包到/opt下解压并移动到/usr/local目录下单机模式启动cd /usr/local/nacos/binsh startup.sh -m standalone启动时出现报错错误一/usr/java/jdk1.8.0_181/bin/java -Xms512m -Xmx512m -Xmn256m -Dnacos.standalone=true -Djava.ext.dirs=/usr/java/jdk1.8.0_181/jre/lib/ext:/usr/java/jdk1.8

2020-10-26 18:06:07 421

原创 JournalNode安装

JournalNode安装修改配置文件#########################[root@node1 hadoop]# vi core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <p

2020-08-26 08:58:08 705

原创大数据集群启动关闭脚本

#!/bin/bash#菜单打印conf=/root/shell/deploy.conftag=hadoopcat <<-EOF s 启动集群 t 关闭集群 q 退出程序 EOF#用户选择需要维护的内容 while truedoread -p "请选择需要操作的内容（helo h）:" actionclearcat <<-EOF s 启动

2020-08-26 08:58:03 218

原创 hadoop伪分布式完全分布式安装

haoop伪分布式上传hadoop安装包并解压[root@node1 ~]# tar -zxvf hadoop-2.6.5.tar.gz![在这里插入图片描述](https://img-blog.csdnimg.cn/20200728120224132.png进入该目录[root@node1 ~]# cat .bash_profile编写文件进入该目录[root@node1 hadoop]# vi core-site.xml 第二个property是创建hadoop 的临时目录在root下

2020-08-26 08:57:58 208

原创集群命令执行脚本

#!/bin/bash#集群命令执行脚本#sh 1.sh "ZKserver.sh stop" hadoop#sh 1.sh "命令" 进程#deploy.conf必须存在#conf=/root/shell/deploy.confbin=`dirname $0`bin=`cd "$conf";pwd`conf="$bin"/deploy.confif [ $# -lt 2 ]then echo "请输入两个参数" exitficmd=$1tag=$2if [ -f $co

2020-08-26 08:57:51 227

原创防火墙和Selinux的关闭

防火墙和Selinux的关闭三个虚拟机都需要执行：关闭防火墙[root@node1 ~]# service iptables status 查看防火墙状态[root@node1 ~]# service iptables stop 临时关闭防火墙[root@node1 ~]# chkconfig iptables off永久关闭防火墙关闭selinux[root@node1 ~]# vi /etc/selinux/config从新启动reboot...

2020-08-26 08:57:46 208

原创 linux免密登陆和jdk

免密登陆准备工作：rm -rf ~/.sshcd步骤：所有节点执行：ssh-keygen -t rsa从节点执行cat ~/.ssh/id_rsa.pub |ssh root@192.168.175.51 ‘cat >> ~/.ssh/authorized_keys’主节点执行cd ~/.ssh/主节点执行cat id_rsa.pub >>authorized_keys主节点分发给各从节点，需要修改用户名及ipscp -r authorized_keys

2020-08-26 08:57:41 122

原创阿里镜像配置

配置阿里镜像[root@node1 yum.repos.d]# pwd/etc/yum.repos.d[root@node1 yum.repos.d]# mkdir backup[root@node1 yum.repos.d]# mv CentOS-* backup/[root@node1 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo[roo

2020-08-26 08:57:37 269

原创 Hive数据仓库（分析存储在hdfs上面的数据）

Hive的产生非java编程者对hdfs的数据做mapreduce操作Hive简介Hive : 数据仓库。Hive：解释器，编译器，优化器等。Hive 运行时，元数据存储在关系型数据库（mysql）里面用户接口主要有三个：CLI（命令行），Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive

2020-08-26 08:57:10 3949

原创高可靠分布式程序开发

高可靠分布式程序开发ServerInfo 类package com.zoo;/** * 往zookeeper目录中需要注册的信息 */public class ServerInfo { private String id; //几点信息用来标识次服务端 private String status="master";//节点的状态 private int port;//服务端对外提供的款口号 private long currentTIme=System.cu

2020-08-26 08:56:48 127

原创 MapReduce 离线处理不能实时处理 yarn安装

MapReduceHave用的也是MapReduce的底层框架Map 处理数据 key，valueReduce 数据汇总map的输出事reduce的输入sort 排序假如1T的1班2班人信息统计人数没有排序需要统计2次有排序需要统计一次 key是1班、2班 key1和key2不相等Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区

2020-08-26 08:56:42 394

原创 zookeeper安装

HDFS存在的问题NameNode单点故障，难以应用于在线场景（HA）NameNode压力过大，且内存受限，影扩展性（ Federation ）方案2.x： HA，只支持2个节点HA ；通过主备NameNode解决，如果主NameNode发生故障，则立即切换到备NameNode上3.x： NN Federation（联邦），实现了一主多备...

2020-08-26 08:56:36 200

转载 Mysql语句

数据库操作查看所有数据库show databases;查看当前使用的数据库select database();创建数据库create database 数据库名 charset=utf8;5.删除数据库drop database 数据库名6 .使用数据句库use database 数据库名7.查看数据库中所有表show tables;表的操作1.查看表结构desc 表名2.创建表结构的语法create table table_name(字段名数据类型可选

2020-08-26 08:56:18 138

原创集群中各个进程的作用

2306 JournalNode 两个NameNode为了数据同步2221 DataNode 数据存储2160 NameNode 数据源存储2106 QuorumPeerMain 选举进程（选举谁是主谁是备）2413 DFSZKFailoverController 监控进程ZKFC负责：健康监测ZKFC定期使用健康检查命令调用其本地NameNode。只要NameNode以健康的状态及时响应，ZKFC就会认为节点是健康的。如果节点已崩溃、冻结或以其他方式进入不健康状态，则健康监视器将将其标记

2020-08-26 08:55:53 300

原创 Spark安装及应用

spark安装Jdk8以上[root@node1 ~]# tar -zxvf spark-2.2.2-bin-hadoop2.6.tgz#sparkexport SPARK_HOME=/root/spark-2.2.2-bin-hadoop2.6export PATH=$PATH:$SPARK_HOME/bin 加入环境变量[root@node1 ~]# source .bash_profile[root@node1 conf]# pwd/root/spark-2.2.2-bin-had

2020-08-26 08:55:37 244

weixin_45863062的博客