浪子huang

用户留存用户登陆表CREATE TABLE IF NOT EXISTS login_log( user_id INT , log_time TIMESTAMP ) engine=MergeTree() order by user_id;数据INSERT INTO login_log VALUES(1101,'2021-01-21 22:00:00'),(1101,'2021-01-20 22:00:00'),(1101,'2021-01-19 22:00:00'),

title: clickhouse副本和分片date: 2021-02-20 16:48:02categories: 数据库tags: clickHouse副本和分片是在很多分布式系统中都有，首先简单来看看他们的概念。副本：数据结构相同，数据相同（数据层面的备份冗余）分片：数据结构相同，数据不同。（数据量层面水平切分）集群是副本和分片的基础，它将ClickHouse的服务拓扑由单节点延伸到多个节点，但它并不像Hadoop 生态的某些系统那样，要求所有节点组成一个单一的大集群。ClickH.

1 准备1.1 机器192.168.90.41 16G 4C192.168.90.42 16G 4C1.2 检查cpu指令集官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集。grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"要在不支持SSE 4.2或AArch64，PowerPC64LE架构的处理器上运行Click

clickHouse快速入门发展历程简介2016年俄罗斯Yandex（类似本土的百度）公司，开源的一款olap数据库，它的前身是公司内部的一款在线流量分析产品Yandex.Metrica。时间轴历程olap架构Yandex.Metrica形态Mysql时期ROLAP固定报告自主研发MetrageMLOAP固定报告OLAPServerHOLAP（Metrage+OLAPServer）自助报告ClickHouseROLAP自助报告可以看到C

ES查询文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search-aggregations-metrics-weight-avg-aggregation.html数据准备 @Test public void createIndex() throws Exception { // 1.准备关于索引的setting Settings.Builder settings = Sett.

maven 依赖 <!--elasticsearch--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>6.8.10</version> </d

介绍特点ES 是基于Lucence编写的开源分布式搜索引擎，它有以下几个特点lucence：底层搜索引擎分布式：横向可扩展能力全文检索：将一段词语进行分词，并将分出的词语统一的放在一个分词库中，再搜索时，根据关键字取分词库中检索，找到匹配的内容（倒排索引）。概念ES使用倒排索引来检索数数据。类比：书本（index）–>小说｜散文｜杂志（type）–>书里面的一行一行内容（document）–> 字｜词组｜句子（filed）Index索引：es里面使用的倒排索引来

Hive上一篇安装了hadoop，这次我们来使用hive操作haddop。环境macOS Catalina 10.15.6JDK 1.8.0_261homebrew安装brew install hive配置环境变量echo export HIVE_HOME=/usr/local/Cellar/hive/3.1.2_1 >> ~/.zshrcexport PATH=$HIVE_HOME/bin:$PATHhive-site.xml没有就：mv hive

环境macOS Catalina 10.15.6JDK 1.8.0_261homebrew安装ssh locahost（免密码登陆）ssh-keygen -t rsa -P "you-email"cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost安装brew install hadoop配置所有的配置均在： /usr/local/Cellar/hadoop/3.3.0/libexec

Kerberos1、 几个概念KDC：秘钥分发中心Realm：kerberos管理的领域标识Principal：用户/服务 向kdc注册时候的身份，形式为，主名称/实例名@领域名 * 主名称：可以是用户名/服务名字 * 实例名：可以是用户组/主机ip（host）2、KDCKey Distribute Center。Database（zhangsan/su...

Presto1、简介Hadoop提供了大数据存储和计算一套解决方案，完美地解决了大数据的存储和计算问题。但是Hadoop提供的Map-Reduce计算框架，适用于大数据量的离线和批量计算，它关注的吞吐量不是计算效率，在大数据量快速实时Ad-Hoc查询计算上表现很不友好。继Hive后，facebook公司在2012年开始开发Presto，与2013年正式开源，给Ad-Hoc查询带来了一股清凉的春...

Alluxio+Presto 查询1、 总述主机cpu内存磁盘p1(master)16 core64GB100GBP28 core32GB100GBP28 core32GB100GB之前我基于TPC-DS 做了很多轮测试，数据量也分布了几个维度，从结果行看性能提升并不明显，只是单表查询上略有提升，多表基本无变化。结果懒得贴上去了，具体...

Alluxio本文是基于alluxio官网和自己实践整理。Alluxio版本：1.8.1CDH 1.15.21、介绍以内存为中心的分布式虚拟存储系统。Alluxio在上层计算框架和底层存储系统之间架起了桥梁，应用层只需要访问Alluxio即可以访问底层对接了的任意存储系统的数据。作者是李浩源，中国人，所以官网 也提供了中文的文档。[外链图片转存失败,源站可能有防盗链机制,建议将...