sonia_liss的博客

1、插入数据insert into 附加；insert overwrite 清空原数据，再插入，最终表中只有插入的数据。2、字符串截取函数split正常使用split('a,b,c,d',',')得到的结果：["a","b","c","d"]当遇到特殊字符"." 点split('192.168.0.1','.')得到的结果：[]正确的写法：split('192.168.0.1','\\.')得到的结果：["192","168","0","1"]当split包含在 "

问题在同一个机子利用不同端口搭建3个ES节点单节点正常运行集群间无法联通，找不到主节点表现cluster_uuid 一直没有注册成功curl "0.0.0.0:29200"{ "name" : "es-01", "cluster_name" : "es-test01n", "cluster_uuid" : "_nan_", "version" : { "number" : "6.4.2", "build_flavor" : "default", "bu

安装docker-compose确定需要安装的版本拉取docker镜像编写docker-compose.yml编写es.yml编写kibana.yml启动、测试！！！

加载docker es 镜像docker pull elasticsearch:6.4.2 配置ES配置文件地址： /home/es/config/ es1.yml es2.yml es3.yml在本地配置elasticsearch.yml文件，设置es集群名称、ip等如下：ES01:cluster.name: elasticsearch-clusternode.name: es-node1network.bind_host: 0.0.0.0network.publish.

定位原因方法一：使用ES的cat API可以分析出未分配的分片信息及未分配的原因curl -XGETlocalhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grepUNASSIGNED命令返回信息包括索引名称、分片编号、是主分片还是副本分片、未分配原因等方法二：使用GET /_cluster/all...

一、确定安装storm版本，这里默认安装storm2.1.0二、搭建storm集群步骤开始（Here's a summary of the steps for setting up a Storm cluster:）安装一个Zookeeper集群（一般3台足够)(Set up a Zookeeper cluster)（问题：单机需要装Zookeeper么）Zookeeper需要加入监...

命令：(1)vi hive.sqlsql = “select * from table;”hive -f hive.sql(2)遍历一个表多次插入其他的表from table1insert into table2 where q1=v1insert into table2 where q2=v2(3)遍历hive表格并写入文件hive -e “select * from tabl...

一、概述SparkSQL的元数据状态有两种：1、in_memory,用完了元数据也就丢了2、hive，通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。换句话说，SparkSQL的数据仓库建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候，必须依赖于Hive。二、Spark-SQL脚本如果直接运行bin/spark-sql命令。会导致...

ES是一个实时的分布式搜索和分析引擎。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。当然Elasticsearc...

Question：　　程序在正常运行，用ps -ef | grep namenode的命令可以查看到相关进程信息，但用jps命令却查不到　　Answer:Java程序启动后，会在/tmp目录下生成一个名为hsperfdata_用户名的文件夹，这个文件夹下会有一些以java进程PID命令的文件；我们在用jps命令查询进程信息，实际上是将这个文件夹下的文件列出来；因此当这个文件夹为空（可能...

例子Example：Linux1Linux2Linux3步骤在Linux1上：1、cd .ssh进入rsa公钥私钥文件存放的目录[user@t01 ~]$ cd .ssh[user@t01 .ssh]$ lsauthorized_keys id_rsa id_rsa.pub known_hosts若没有文件，则输入ssh-keygen -t rsa#一直回车到完成...

概念HDFSThe Hadoop Distribute File System 分布式文件系统 是一个被设计在运行商用硬件的一个分布式文件系统。它与现有的分布式文件系统有许多相似之处，但是与其他分布式文件系统区别是显著的。HDFS具有高度容错性，设计用于部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适合具有大数据集的应用程序。HDFS放宽了一些POSIX要求，以实现对文件系统的...

基础命令show databases; # 查看某个数据库use 数据库; # 进入某个数据库show tables; # 展示所有表desc 表名; # 显示表结构show partitions 表名; # 显示表名的分区show create table_name; # 显示创建表的结构建表语句#内部表use xxdb; creat...

spark提交job方式standalone方式client 模式cluster模式yarn方式client模式完整体提交job语句：spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 1 --class org.apache.spark.examp...

起因：1、按照步骤搭建完成spark集群；2、在所有的机器上jps，查看任务进程，都存在；3、在任意一台上提交job测试；现象：出现报错：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.1.123:9000 failed on local...

参考链接：hadoop 2.7.3 源码编译教程一、工具准备最靠谱的是hadoop说明文档里要求具备的那些工具。1、Hadoop2.7.3下载安装哪个版本的hadoop，需要进入各个源码查看requirements进入hadoop官网，点击source下载hadoop-2.7.3-src.tar.gz解压：tar -zxvf hadoop-2.7.3-src.tar.gz进入had...

引言Oracle JDK和OpenJDK的简单介绍Oracle JDK是基于Java标准版规范实现的，以二进制产品的形式发布。它支持多种操作系统，如Windows，Linux，Solaris，MacOS等。它支持不同的平台，如Intel32位和64位架构，ARM架构和SPARC。它完全基于Java编程语言。之后，该许可证宣布将根据GPL（通用公共许可证）许可证发布。Oracle JDK包含许...

转载：spark为什么比hadoop的mr要快？为什么转这篇文章，是看到一个问题：为什么spark不在内存跑，也可以比mr快，对于刚入门的新手来说，或者大家比较熟知的，都知道spark是基于内存计算的，但是怎么会有这样的问题出现呢？因此有了以下的search，供大家参考。----------------------分割线----------------------------1.前言Spa...