LBJ_小松鼠的博客

1-Elasticsearch简介ES官网点击介绍:Elasticsearch是一个基于Lucene的搜索服务器提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许

简介: 在ClickHouse数据库中支持一些函数：[重点]官网文档：https://clickhouse.tech/docs/zh/sql-reference/functions/1-相关SQL 函数:1）、类型检测函数：`toTypeNameSELECT toTypeName(toDate('2019-12-12 ')) AS dateType, toTypeName(toDateTime('2019-1 2-12 12:12:12')) AS dateTimeType

简介:ClickHouse之所以可以OLAP分析，查询检索数据很快，最重要的原因在于：存储引擎。

1-常用 SQL 命令:创建表(create)的基本语法：- 1）、表的类型分为两种：临时表temporary和持久化表- 2）、创建表示，建议写上数据库名称- 3）、如果使用CK集群，创建表时，在表的名称后面加上：`ON CLUSTER clusterId`- 4）、每个数据表创建时，需要指定存储引擎，非常关键属性，决定业务查询性能`engine = EngineName(parameters);`create [temporary] table [if not exists] dbN

1-ClickHouse入门:ClickHouse是一个面向列的数据库管理系统（DBMS），用于在线分析处理查询（OLAP）。ClickHouse官网：https://clickhouse.tech/ClickHouse中文社区：http://www.clickhouse.com.cn/(重点: 第一手资料均来自于官网,所以多看官网)2-ClickHouse的概述:总结:3-ClickHouse 特 性:真正面向列的DBMS、支持压缩支持普通硬盘存储、支持多核并行处理支持S

topic主题操作:Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。新版本Kafka总结开启Kafka? bin/kafka-server-start.sh config/server.properties 或者 脚本一键启动 或者 进入到Kafka的bin目录 sh kafka-server-start.sh 开启每一个Kafka的命令都有写入 --bootstrap-server node1.itcast.cn:9092 它是

前言: 在讲解Kafka的架构前我们先了解一下什么是消息队列1. 消息队列的讲解消息: 应用之间的信息相互传递消息队列(Message Queue): 将消息放在队列中保证消息可靠传递1.1 消息队列的特点应用系统之间解耦----12306–用户系统+后台消息驱动：以消息驱动应用限流消锋：限制流量，对于双11双12峰值限制异步处理：不同业务系统可以处理消息队列中数据1.2 消息队列的应用场景举例电商:秒杀- 流量削峰:实时日志处理:2. 消息队列

1. Kafka数据模型2. 搭建Kafka集群1.将Kafka的安装包上传到虚拟机，并解压cd /export/software/tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/cd /export/server/kafka_2.12-2.4.1/2.修改 server.propertiescd /export/server/kafka_2.12-2.4.1/configvim server.properties# 指定broker

前言:通过使用Phoenix，我们可以非常方便地创建二级索引。Phoenix中的索引，其实底层还是表现为HBase中的表结构。这些索引表专门用来加快查询速度。分类:全局索引：索引所在region和数据所在的region通常不是一个节点CREATE INDEX 索引名称 ON 表名 (列名1, 列名2, 列名3…)select 列名1, 列名2, 列名3 from tableselect 列名1, 列名2, 列名3，列名4 from table 该索引无效本地索引：索引和数据都是

1. 读数据流程从zookeeper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息根据namespace、表名和rowkey根据meta表中的数据找到对应的region信息找到对应的regionserver，查找对应的region从MemStore找数据，再去BlockCache中找，如果没有，再到StoreFile上读可以把MemStore理解为一级缓存，BlockCache为二级缓存，但注意scan的时候BlockCache意义

简介: 学习HBase时我们都知道, HBase的数据最终是需要持久化到HDFS。HDFS是一个文件系统，那么数据可定是以一定的格式存储到里面的。例如：Hive我们可以以ORC、Parquet等方式存储。而HBase也有自己的数据格式，那就是HFile。Bulk Load就是直接将数据写入到StoreFile（HFile）中，从而绕开与HBase的交互，HFile生成后，直接一次性建立与HBase的关联即可。使用BulkLoad，绕过了Write to WAL，Write to MemStore及Flush

前言:在HBase默认只支持对行键rowkey的索引,如果要针对其它的列来进行查询,就只能全表扫描全表扫描: scan + filter的形式(引发出来的问题: 网络传输压力大,客户端压力大.)1. Apache Phoenix的出现:解决了:如果每次需要我们开发二级索引来查询数据，这样使用起来很麻烦。再者，查询数据都是HBase Java API，使用起来不是很方便。为了让其他开发人员更容易使用该接口。如果有一种SQL引擎，通过SQL语句来查询数据会更加方便。简而言之: 提供了一种类似S

前言: 这里是关于如何设计HBase表的一个小结关于HBase表的设计,应该从以下几点出发: 设计名称空间(namespace)丶设计表(相当于region)丶设计列簇丶设计列丶版本设计丶压缩设计以及如何设计rowkey.1.名称空间的设计在HBase中名称空间类似于RDBMS中的数据库,在HBase中往往不同的的业务的数据需要存储在不同的的表中,为了管理的方便,不同业务域按照不同的namespace来划,HBase在安装好后有两个名称空间,一个defalut,创建表时默认都在此namespa

------------------------通用操作----------------------------1.help帮助: 例如: help 'create', help 'scan' 2.list 查看所有表3.count '表名': 统计指定表的记录数4.查看表描述: desc '表名' desc 'student'----------------------- 表的创建与删除----------------------1.创建表: create '表名','列簇'

1. HBase的数据模型(两张图)简单理解:TimeStamp: 不同版本Verison的数据根据timestamp进行区分命名空间: 相当于数据库regoin(Table): 表rowkey(行键): 决定一个人的信息, 例如: name丶age丶sex列(Column): 包含列族（Column Family）和列限定符（Column Qualifier 列名）组成: 例如 C1:name C2:age 列簇:列名列簇Column Family: 包含一个人信息所有

前言: HBase主要起源于谷歌的三驾马车论文之一BigTable中,是建立在HDFS上的高可靠性、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统.1. 为什么会出现HBase1.1 HBase开篇要想理解为什么会出现HBase,首先要和其他的大数据组件进行一个对比.1.1.1 HBase与Hadoop的对比(HDFS的对比)Hadoop特点或缺点: 缺点：Hadoop适用于一次写入多次读取的场景，但是对于大量数据的实时查询，无法适应或不支持 引入Hbase：面相列存储,上十亿行,

前言: 对于Hbase我安装的是2.1.0版本,你们想安装其他的版本,可以自行去Hbase官网下载, HBase官网1. 上传丶解压tar -xvzf hbase-2.1.0.tar.gz -C /export/server/2. HBase配置文件的修改1) hbase-env.shcd /export/server/hbase-2.1.0/confvim hbase-env.sh# 第28行export JAVA_HOME=/export/server/jdk1.8.0_241/

Redis的常见类型有如下几种,string丶hash丶list丶set丶zset,他们简单且常用的命令操作在这里做一个总结:1. string# SET key value # 设置指定 key 的值set hello world# GET key # 获取指定 key 的值。GET hello# SETEX key seconds value# 将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。SETEX hello2 5 worl