时空琴弦
学以致用,学无止境
展开
-
clickhouse-client显示问题
安装环境os: centos 7.6clickhouse: 21.5.5.12 (official build).安装方式: rpm问题现象使用SecureCRT通过ssh连接centos服务器,用clickhouse-client进入客户端,执行命令时,出现命令重复的情况。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xcMaw8tD-1621581280766)(media/16215775243690/16215776928986.jpg)]问题分析由原创 2021-05-21 15:15:43 · 1519 阅读 · 0 评论 -
【异常处理】 - airflow python报 ImportError: cannot import name ‘resolve_types‘异常问题分析和处理方案
错误说明在安装airflow后,执行airflow的命令时,提示不能导入resolve_types,详细错误说明如下:$ airflow --helpTraceback (most recent call last): File "/usr/local/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/usr/local/lib/python3.6/site-pa原创 2020-12-09 13:06:11 · 1138 阅读 · 1 评论 -
【构建PB级准实时分析引擎】 - 对比druid,clickhouse,kylin,KAWQ,presto,spark sql,impala等主流开源离线数据分析引擎
文档说明 对于每日10TB+的数据增量,应该选择什么样的离线分析引擎,才能既高效,有低成本? 追求性能极限的同时,也需要兼顾向后扩展性,比如人才招聘,运维成本,部署成本,分析场景变化等,那么如何才能选择最适合自己的离线分析引擎呢? 本文从自身需求的视角出发,综合对比目前主流的开源离线分析方案,以寻找最合适的离线分析方案,来满足自己的需求。 对于目前较为主流的druid,clickhouse,kylin,KAWQ,presto,spark sql,impala进行了多方面的评比,仔细分析,以寻原创 2020-11-28 14:44:52 · 1615 阅读 · 0 评论 -
【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测
评测说明 本评测方案主要从自身实用的角度出发,对比主流的开源任务调度方案,评选出最适合自己的方案,以作为自己的调度工具。评测目标短期目标可调度多台机器的shell/python脚本;可管理有依赖的任务执行;支持mysql/postgresql数据库;支持接口管理任务(定时,取消定时);中长期目标任务运行状态和完成状态容易获得;支持秒级调度;支持任务分片;支持任务可视化;Hadoop,Spark生态支持;选型范围软件理由dolphinschedule原创 2020-11-28 14:37:11 · 3436 阅读 · 0 评论 -
【构建PB级准实时分析引擎】- 构建PB级准实时分析的挑战有哪些?
海量异构数据存储在哪?海量异构数据的冷暖热如何区分?如果有BI、report,遇到复杂的分析怎么办?原创 2020-10-16 11:55:28 · 298 阅读 · 0 评论 -
【构建PB级准实时分析引擎】- clickhouse国内应用案例(持续更新完善中。。。)
中国电信今日头条快手虎牙直播腾讯喜马拉雅百分点携程爱奇艺原创 2020-10-14 14:30:50 · 587 阅读 · 0 评论 -
【构建PB级准实时分析引擎】-clickhouse初探
clickhouse介绍 clickhous是开源的OLAP数据库管理系统,为面向列式的准实时数据查询分析引擎,由yandex于2016年开源。最大的特点就是快,相比传统的数据仓库引擎,如hive,greenplum,vertica等,clickhouse性能均将它们远远的甩在身后;clickhouse comparisionclickhouse特性快clickhouse在配置较高的物理服务器上,每秒可扫描数十亿数据。验证表明,clickhouse在同样配置下,分析性能优于同类mpp分析引擎(通原创 2020-10-14 14:09:55 · 496 阅读 · 0 评论 -
clickhouse如何做冷,热数据分级存储?
准备目录和权限sudo chmod -R 777 /etc/clickhouse-*sudo mkdir /data1/clickhousesudo mkdir /data2/clickhousesudo mkdir /data3/clickhousesudo mkdir /data4/clickhousesudo chown -R clickhouse:clickhouse /data1/clickhousesudo chown -R clickhouse:clickhouse /dat原创 2020-11-28 08:56:23 · 1684 阅读 · 0 评论 -
【小工具】 -- clickhouse数据库连接客户端
dbeaverdbeaver是一款免费的数据库桌面连接工具,基于Apache-2.0协议开源,支持常见的数据库连接,如MySQL/MariaDB, PostgreSQL, Greenplum, Oracle, DB2 LUW, Exasol, SQL Server, Sybase/SAP ASE, SQLite, Firebird, H2, HSQLDB, Derby, Teradata, Vertica, Netezza, Informix等.对于使用clickhouse的同学来说,dbeaver可以直原创 2020-11-28 08:53:38 · 1969 阅读 · 1 评论 -
【clickhouse】 -- clickhouse如何即时删除表中的数据?
clickhouse默认无法实时删除表中的数据 clickhouse默认是不支持实时删除表中的数据,数据的删除通常是异步进行。若是在同写同读的场景,有可能会查询到已经被删除的数据,这可能会导致一些逻辑上的错误,或者误解。 来看下面的示例,可以看出,虽然执行了删除语句,但数据实际没有被删除。是什么原因导致数据没及时删除呢?ALTER TABLE … DELETE Statement ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHER原创 2020-11-21 17:54:21 · 10721 阅读 · 1 评论