我是坏人哦

spark默认的jdbc只会用单task读取数据，读取大数据量时，效率低。本文阐述了如何利用分区字段对数据进行划分，增加task数量，提升性能

本文介绍Clickhouse Projection失效的原因，列举了一些失效案例，并对Projection触发条件进行总结和分析。

针对由group by产生的间隙问题，如时间不连续，本文提供了一种从Clickhouse层面的解决思路

我们的埋点数据上传到S3，大概是每天10亿条的数据量级别。最近花了一些时间思考和学习如何将每天如此大量的数据从S3导入到Clickhouse，为后续的实时查询做准备。

最近在看《Hadoop权威指南 第4版》，其中对主导资源公平性的介绍可能由于翻译原因，出现了一处错误，经查资料理解了drf算法。希望本文能帮助到同样在读此书并对此处有疑惑的同学。

本文详细介绍了Clickhouse新投产功能Projection的用法、案例和原理解析

这个问题需要分情况讨论，首先有2个前提：MergeTree主键建立以后是不能修改的主键必须和排序键一致或是排序键的前缀，即主键是A，排序键可以是A或(A,B)，但不能是B

MergeTree简介MergerTree（及其家族）是Clickhouse最强大的表引擎。发生insert操作时，MergeTree以数据片段的方式快速写入数据，后台线程会定期以一定规则对数据片段进行Merge。在大数据场景中，相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。更多介绍可以详见官网。

由于这样那样的原因，我们从各个端收集回来的数据不一定是完整的，经常会碰到某些关键字段缺失的情况。如果做一般的大数据分析或者数据可视化，小部分的缺失其实影响不大，在预处理把含有空缺值的整条数据删掉就行了。但是也有一些特定的场景下不能这么简单了事，需要对数据进行补全。本文介绍在clickhouse中进行空缺值处理的几种方法。

背景 datas表是原始数据表，现在要对datas表中的app类型进行分析。于是需要建立一张app名称与app类型关系表，对两张表进行连接查询。方案一简单粗暴，直接建立关联表，直接进行join关联。--建立关联表create table app_type_mapping(`m_app` String,`m_type` String)ENGINE = TinyLog--插入数据insert into app_type_mapping values('app...

背景 前段时间在做一个功能，中间有个环节是需要将一个json自由文本字段从大宽表中抽取出来，转换成列，以便后续的计算和分析。 json文本格式如下：{ "launch_time": "3;5;1", "date": "2021-01-02", "total_time": "72;34;0", "pkg": "com.android.launcher;com.android.settings;com.google.android.set...

clickhouse简介​ 2016年，俄罗斯Yandex开源，列式存储数据库，底层是C++，用于在线分析处理查询（OLAP）。Clickhouse提供了相当丰富的内置函数满足不同业务需求，并且具备高吞吐低延时的特点，官网称简单查询，clickhouse的处理速度大约是1-2亿行每秒。另外，clickhouse的官方文档是我见过最简单明了的开源文档。行式存储适合插入、更新和删除场景列式存储适合查询场景（想查年龄这列，直接拿出来就行）clickhouse的缺点：没有完整的事务支持。

rm -rf test.txt零、准备工作 准备一台虚拟机工具（vmware和virtualbox都行），装3台Linux虚拟机，本文装的是CentOS7。 集群规划： hadoop001 192.168.164.10 hadoop002 192.168.164.20 hadoop003 192.168.164.30 HDFS集群 NameNode ...

大数据简介大数据是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。目前大数据技术已经广泛应用于众多行业，如仓储物流、电商销售、汽车、电信、生物医学、人工智能、智慧城市等等。大数据的特点（5V）Volume（大量）数据单位：GB -> TB -> PB -> ZB -> YB -> BB -> NB -> DBIDC预...