qq_43613793的博客

我这里有一个测试索引数据如下：如果用普通的排序方法对_id中的数据进行排序的话：GET _search{ "query": { "term": { "_index": "test" } }, "sort": { "_id": { "order": "asc" } }, "size": 20}因为_id的数据为字符串类型，因此排序出来的结果其实并不是我们想要的：{ "took" : 5, "timed_out"

文章目录1、开启Windows的虚拟机平台功能2、启用适用于 Linux 的 Windows 子系统3、启用虚拟机功能4、下载 Linux 内核更新包5、将 WSL 2 设置为默认版本6、安装所选的 Linux 分发7、为新的 Linux 分发版创建用户帐户和密码8、安装 Windows Terminal（可选）9、安装GUI图形界面10、安装Microsoft远程桌面（可选）1、开启Windows的虚拟机平台功能前往系统设置-应用-程序和功能-启用或关闭Windows功能，勾选上述目标项，确定即可：

1、UI界面结果展示UI界面基于 layui - layout 构建1.1、Shell控制台首页1.2、HDFS 操作页面1.3、SparkStreaming & Kafka 操作页面1.4、MapReduce の WordCount 操作界面1.5、HBase 操作界面新建表：查看详情：添加/更新/修改 数据：删除列族：删除行键：删除表：2、准备操作：2.1、本机环境本机所需环境：javascalamysqlmaven2.2、

ChannelExec exec = (ChannelExec)session.openChannel("exec");执行jps命令时：exec.setCommand("jps");/* ... */不会输出结果因为jps不是虚拟机内置的命令，而是java提供的一个显示当前所有java进程pid的命令，所以需要用source命令将java的环境变量以及bash"刷"一遍：exec.setCommand("source /etc/profile;source ~/.bash_profile;

文章目录Maven `pom.xml` 添加依赖创建表添加数据查询数据删除数据删除表Maven pom.xml 添加依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.6.1</version></dependency>创建表i

文章目录0、使用须知0.1、说明0.2、环境变量配置0.2.1、centos010.2.2、centos020.2.3、centos031、三台服务器分别启动ZooKeeper2、启动HDFS HA2.1、启动HDFS2.2、测试HDFS2.3、启动ZKFC守护进程2.4、再次测试HDFS4、测试HDFS HA（自动故障转移）5、启动YARN HA6、测试YARN HA（自动故障转移）7、启动HBase HA8、测试HBase HA （自动故障转移）9、关闭HBase HA10、启动Spark HA11、测

VMWare - CentOS7 虚拟机扩展硬盘容量最近我的Hadoop集群跑不动了，ElasticSearch也一直是yellow，因为我当初给虚拟机分配的容量太少了，导致都快爆了…所以要给集群扩一下硬盘容量1、在VMWare扩展好容量我这里就将10GB扩展到20GB：2、进入系统进行扩展2.1、df -h查看磁盘占用情况可以看到，我这里已经快爆了…2.1、 fdisk -l /dev/sda 查看当前的磁盘分区情况2.3、fdisk /dev/sda 开始进行新的分区了2.3.1

安装 Node.js下载并解压：wget https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.xztar xf node-v10.9.0-linux-x64.tar.xz -C /opt/modules/配置环境变量：vim /etc/profileexport NODE_HOME=/opt/modules/node-v10.9.0-linux-x64export PATH=$PATH:$NODE_HOME/binso

Elasticsearch提供了一个非常全面和强大的REST API，可以使用Linux curl命令发起一个HTTP请求与集群进行交互，也可以使用任何允许进行HTTP/REST调用的工具来发起请求（比如Postman；如果是GET请求也可以直接在浏览器中访问）一个基于HTTP协议的curl请求的基本格式如下：curl -X <VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING&g

上传并解压将kibana-7.12.0-linux-x86_64.tar.gz上传到centos03的/opt/softwares目录中并解压到/opt/modules/目录下：（本来想用centos01的，奈何centos01磁盘位置不够了，就用centos03了…）tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz -C /opt/modules/修改配置文件修改Kibana安装目录下的config/kibana.yml文件：vim config/kib

上传并解压将elasticsearch-7.12.0-linux-x86_64.tar.gz上传到/opt/softwares目录并解压到/opt/modules/目录：tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz -C /opt/modules/创建新用户由于Elasticsearch可以接收用户输入的脚本命令并执行，出于系统安全的考虑，Elasticsearch不允许直接使用root用户执行其中的命令，使用root执行命令时会报错。因此需

上传并解压将apache-storm-1.1.0.tar.gz上传到centos01节点的/opt/softwares目录，然后将其解压到/opt/modules/目录：tar -zxvf apache-storm-1.1.0.tar.gz -C /opt/modules配置Storm配置环境变量sudo vim /etc/profileexport STORM_HOME=/opt/modules/apache-storm-1.1.0export PATH=$PATH:$STORM_HOM

上传并解压安装文件将apache-flume-1.8.0-bin.tar.gz上传到centos01节点的/opt/softwares目录，并将其解压到/opt/modules/目录下：tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/modules/配置环境变量vim /etc/profileexport FLUME_HOME=/opt/modules/apache-flume-1.8.0-binexport PATH=$PATH:$FLUME

pom.xml引入依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId>

创建主题bin/kafka-topics.sh --create --zookeeper centos01:2181,centos02:2181,centos03:2181 --replication-factor 2 --partitions 2 --topic topictest输出Created topic "topictest".则说明主题topictest创建成功：此时查看ZooKeeper中Kafka创建的/brokers节点，发现topictest的信息已记录在其中：查询主题b

上传并解压将kafka_2.11-2.0.0.tgz上传到centos01的/opt/softwares目录，并解压到/opt/modules目录下：tar -zxvf kafka_2.11-2.0.0.tgz -C /opt/modules修改配置文件修改centos02Kafka安装目录下的config/server.properties文件：broker.id=1num.partitions=2default.replication.factor=2listeners=PLAINTE

目录将MySQL中的数据导入到HDFS中启动Hadoop集群执行导入命令查看导入结果将HDFS中的数据导出到MySQL中新建表执行导出命令查看导出结果将MySQL中的数据导入到HBase中启动HBase新建HBase表执行导入命令查看导入结果先在本机MySQL建好例表：将MySQL中的数据导入到HDFS中启动Hadoop集群bin/zkServer.sh startsbin/start-all.shsbin/hadoop-daemon.sh start zkfc执行导入命令sqoop i

上传并解压将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到centos01上的/opt/softwares目录并将其解压到/opt/modules目录并重命名：tar -axvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modulesmv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7配置环境变量vim /etc/profileexport SQOOP_HOME=/opt/

Hive 使用 Beeline CLI修改用户权限在centos01中，修改core-site.xml配置文件，添加以下内容： <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property> <property> <name>hadoop.proxyuser.hadoop.groups&l

远程模式分为客户端与服务端两个部分，服务端的配置与本地模式相同，客户端需要单独配置这里将centos01节点作为Hive的服务端，centos02节点作为Hive的客户端，在本地模式的基础上继续进行远程模式的配置客户端配置Hive在centos01节点中执行以下命令，将Hive安装文件复制到centos02节点：scp -r /opt/modules/apache-hive-2.3.8-bin/ hadoop@centos02:/opt/modules/修改centos02节点的hive-sit

配置MySQLcreate database hive_db;create user hive@'localhost' identified by 'hive';update mysql.user set host = '%' where user = 'hive';GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;FLUSH PRIVILEGES;完成后查看结果：配置Hive上传驱动包上传mysql-connect

修改spark-env.sh配置文件export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=centos01:2181,centos02:2181,centos03:2181 -Dspark.deploy.zookeeper.dir=/spark"spark.deploy.zookeeper.url：指定ZooKeeper集群各节点的主机名与端口spark.

修改spark-env.sh配置文件export HADOOP_HOME=/opt/modules/hadoop-2.8.2export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop测试运行Spark应用程序测试运行Spark自带的求圆周率的例子：（提前启动HDFS和YARN）bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster

上传并解压安装包将spark-2.4.0-bin-hadoop2.7.tgz上传到centos01节点的/opt/softwares目录，然后进入该目录，执行以下命令，将其解压到/opt/modules中：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/modules修改配置文件修改slaves文件执行以下命令，复制slaves.template文件为slaves文件：cp slaves.template slaves然后修改slaves文件

Hadoop HA 下安装 HBase上传并解压HBase安装包将安装包上传到centos01下的/opt/softwares目录并将其解压到/opt/modules：tar -axf hbase-1.2.6.1-bin.tar.gz -C /opt/moduleshbase-env.sh文件配置修改HBase安装目录下的conf/hbase-env.sh，配置HBase相关JDK，加入以下代码：export JAVA_HOME=/opt/modules/jdk1.8.0_161export

yarn-site.xml文件配置<configuration><!--指定可以在YARN上运行MapReduce程序--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--YARN HA配置-->

ZooKeeper的三个核心选举原则：（1） Zookeeper集群中只有半数以上的服务器启动，集群才能正常工作（等于半数也不行，因此ZooKeeper集群的服务器最好是奇数台）（2） 在集群正常工作之前，myid小的服务器给myid大的服务器投票，直到集群正常工作，选出Leader（3）选出Leader之后，之前的服务器状态由Looking改变为Following，以后的服务器都是Follower举个例子我这里有三台服务器：centos01，centos02，centos03这三台服务器上的Z

文章目录HDFS HA 搭建`hdfs-site.xml`配置`core-site.xml`配置发送到其他集群启动与测试启动JournalNode进程格式化NameNode启动NameNode1启动NameNode2将NameNode1的状态置为active重新启动HDFS再次将NameNode的状态置为active在各节点执行jps命令ZooKeeper进行HDFS自动故障转移开启自动故障转移功能指定ZooKeeper集群同步其他节点停止HDFS集群启动ZooKeeper集群初始化在ZooKeeper中的

Mavenpom.xml添加依赖<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.14</version></dependency>创建节点package com.sleepyyoung;import org.apache.z

上传ZooKeeper安装文件在centos01节点中，利用ftp工具将zookeeper-3.4.10.tar.gz上传到/opt/softwares/目录中，并进入该目录，将其解压到目录/opt/modules/文件夹：tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/modules 编写配置文件在ZooKeeper安装目录下新建文件夹dataDir，用于存放ZooKeeper相关数据在ZooKeeper安装目录下的conf文件夹中新建配置文件zoo.cf

Mavenpom.xml添加依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.0</version></dependency>合并去重对input文件夹下的file1.txt和file2.txt进行合并去重package

节点角色centos01NameNodeSecondaryNameNodeDataNodeResourceManagerNodeManagercentos 02DataNodeNodeManagercentos03DataNodeNodeManager上传Hadoop并解压在centos01节点中，将hadoop安装文件hadoop-2.8.2.tar.gz上传到/opt/softwares目录，然后进入该目录，解压安装文件到/opt/modules：cd /...

新建虚拟机新建虚拟机选择典型选择稍后安装操作系统选择Linux CentOS7 64位设置虚拟机名称和位置指定磁盘容量（我用的10GB）完成创建编辑虚拟机设置**选择CD/DVD (IDE) 使用ISO映像文件**选择本地下载好的iso文件安装操作系统开启虚拟机在首次出现的CentOS7操作系统安装界面中，鼠标单击空白处激活键盘，按键盘的上下键选择Install CentOS Linux7选项，然后按回车键安装安装图中再次按回车键继续即可，直到出现语言选择窗口

先放一个链接吧：http://39.107.60.152/（网站域名正在审核中，审核通过了就会修改）站点首页：这个网站目前只具有按照时间搜索、按照内容搜索（模糊搜索、精确搜索）功能：按时间搜索：按内容搜索（模糊查询）：模糊查询可以下载查询结果按内容搜索（精确查询）：精确查询的热搜趋势图可以导出：...

http://dblab.xmu.edu.cn/blog/install-hadoop/