lcfchan的博客

ClickHouse单机部署以及从MySQL增量同步数据

作者：曾庆东，金地物业中级开发工程师，负责聚合营业平台实时计算开发及运维工作，从事过大数据开发，目前专注于apache flink实时计算，喜欢开源技术，喜欢分享。01 项目背景本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目，需要提供高效且准确的OLAP服务，提供灵活且实时的报表。业务数据存储在MySQL中，通过主从复制同步到报表库。作为集团级公司，数据增长多而且快，出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务，有些千万级大表仍然需要进行Join，计算规模非常惊

Flink1.11中的CDC Connectors操作实践_jmx_bigdata的博客-优快云博客

上线发布是运维的日常工作，常见的发布方式有：手动发布 Jenkins发布平台 Gitlab CI ......除此之外还有需要开源软件，他们都有非常不错的发布管理功能。面临的问题作为运维人员，上线发布是必不可少的一环，一个正常的发布流程是怎么样的？需求方提发布任务，走发布流程 供应方执行发布上线环节看似简单，但是中间其实是有断层的。一般企业在走上线流程都是通过一些公共渠道，比如邮件、钉钉、飞书的流程，这些都很难和运维执行上线发布平台进行关联上，而且也不够直观。所以我们就需要解决以

上篇写了ES的服务器配置及架构的演进，这篇来讲讲其它的优化过程。相信大家基本都跟我一样，开始ES的学习，肯定不会去系统的看书，一是工作上不会给你那么多的时间，二是工作了这么多年，基本上已经没有完整的看一本技术书的能力，基本就是稍微看看官网，再找一两篇网上的文章看看就开始跟着操作了，要在实践中这么做，有时候真的是挺坑的，大部分的文章作者，其实都只是把系统给跑通了，根本没有做过优化，数据量少的时候，顺丰顺水的，数据一多，就有苦头吃了。1、JVM从32G调整为31G网上大部分的文章是64G内存的服务器

背景：在开发调试阶段，发现bug后开始在服务器上查找日志，但是这个过程真的好痛苦.一种方式是直接在服务器上tail -f 或者tail -n 直接查看，但是日志太多，不容易发现问题另一种方式导出最近的日志到本地，打开本地编辑器一点一点查看但是两种方式都很麻烦，有没有轻松一点的方法呢？在这个开源的时代，一直听说elk架构，那就搭建这个日志系统，感受下这个系统的魅力吧以下软件可以去:https://mirrors.huaweicloud.com 下载很快基本服务介绍什么是elasticsearch

• 需求需求是这样的：提供一个后台，选用户画像标签（多选），点确认后弹出“选出了xxx个用户”，再继续点就把用户dump出来、推送消息。现在要做这个后台的数据仓库层。详细分析一下需求：我们的用户画像走流式计算，每秒大量更新，所以 对插入/更新性能要求很高。查询条件翻译成SQL就是类似 select count(*) from table where (tags like ‘%tag1%’) and (tags like ‘%tag2%’) and (tags like ‘%tag3%’) a