边逛边看边学习

进入 2024 年底，或许是为了赶在年底前冲一把业绩或是对投资人有所交代，各路 AI 玩家无论是大厂还是中小型企业都纷纷发布了自家产品的更新。

此次应急作战在AI运维机器人的帮助下，极大加快了数据分析和应对流程。AI R在流量控制、数据库同步调整、应用性能监控等方面提供了关键支持，所有告警现已恢复。

ClickHouse：介绍两种方法来做final查询的优化

在安装深度学习及大模型微调环境时，经历了多次反复操作（如CUDA、cuDNN、PyTorch的安装与卸载）。为了避免走弯路，总结了这6个步骤

通过分析2024年的积分落户结果数据，我们发现了许多有趣的结果，在总结的部分，可以指导未来申请积分落户人员更好地通过正当的渠道获取北京的落户资格。

通过分析2024年的积分落户结果数据，我们发现了许多有趣的结果，在总结的部分，可以指导未来申请积分落户人员更好地通过正当的渠道获取北京的落户资格。

近期在项目中尝试利用大模型将MySQL导出的SQL语句迁移为达梦信创数据库格式，通过几轮操作，深刻体会到提示词工程的重要性，并总结了使用大模型的最佳实践。在实际应用中，利用大模型处理复杂任务不仅提升了效率，还保证了结果的准确性。

ipv6相关的运维生产事故，怎么破？

ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看，新版本都有哪些新特性吧！

我们在使用clickhouse的过程中，往往会发现一个奇怪的现象：明明机器性能很强，如36core， 1TB内存，但是merge的时候资源却并不能充分利用。原因何在呢？

eBPF 是⼀个令⼈印象深刻的可观测性⼯具，与传统的可观测性解决⽅案相⽐，它可以提供更深⼊的洞察⼒。

[本文作者：擎创 禹鼎侯。我们有时候叫他“大禹”，是个文理双全的攻城狮]什么是逻辑集群ClickHouse作为一个基于OLAP场景的数据库，对于集群的支持自然也是理所当然的。我们通常所说的ClickHouse集群，指的是物理集群。即集群各节点之间被同一个zookeeper集群管理，数据的各种DDL操作都是针对整个集群有效的。与物理集群相对应的，还有一类集群，我们叫它逻辑集群。它是指在物理上没有一定的必然关系的物理集群，彼此又组成了一个逻辑集群。可以用下面这幅图形象地表达物理集群和逻辑集群的关系。

本文作者：擎创科技 研发总监a coder在介绍JobMaster之前，先插播一篇分析从Task被提交到TaskExecutor后到运行的过程。所有的分布式计算引擎都有一个序列化任务然后提交给各Worker节点去执行的过程，我们在开始开发Flink作业或者Spark作业时，也经常会遇到一些序列化相关的异常，所有这些都牵扯到几个问题：Flink如何来描述我们开发的数据处理逻辑(绝大部分是user Function)。 Flink如何来序列化以及反序列化我们开发的数据处理逻辑。 Flink最终如何执

（本文作者 擎创科技研发总监 a coder）背景介绍最近一直在阅读Flink基于Yarn的资源管理相关的代码，牵扯的流程比较长，主要包含以下几个环节:客户端环节：命令参数解析，定位到作业入口，生成JobGraph，翻译成启动对应的Yarn集群描述符，开始提交到Yarn。 AppMaster环节：根据不同的作业模式(Session/Job)，选择不同的启动入口，开始启动集群，这个阶段需要构造的重要组件包含：Dispatcher，Resource Manager，Job Master。具体每个组

众所周知，jvm类加载机制采用双亲委派机制。但在有些框架中，常常为了提供某种形式的“隔离和沙盒”，自定义一种称为ChildFirst的了类加载器，简单的说就是破坏了双亲委派，由自定义子类加载器优先加载类，而不是先委派给父加载器。由于同一个类可以在不同的类加载器中分别加载，使用ChildFirst机制，可以让类加载器形成一个“沙盒”，在程序中同时运行两个相同但不同版本的类。但是，笔者遇到一个罕见的类加载冲突的案例，根因与ChildFirst机制有关。起因程序在flink平台上运行，将数据写入es，

优快云果然技术大拿如云。前阵子发了一个ClickHouse的干货，阅读量蹭蹭地本篇作者：擎创科技 大飞哥介绍最近工作中经常用到Kerberos认证，虽然一些软件已经实现了Kerberos认证，配置一下就能使用，但是我一直不是很清楚它的具体流程，下面通过分析它的协议(KerberosV5)进一步加深对Kerberos认证的了解。角色Kerberos是一种第三方认证协议，通过使用对称加密技术为客户端/服务器应用程序提供强身份验证。在希腊神话中Kerberos是守护地狱之门的一条三头神犬，而.

（公司同事新出炉的技术文，虽然除了字都认识外其他看不出个所以然，不妨碍我仰望大神们）本文作者：擎创 大飞哥ClickHouse存储结构及索引详解环境介绍本文基于ClickHouse 20.8.5.45版本编写，操作系统使用的是CentOS 7.5，主要介绍MergeTree表引擎的存储结构以及索引过程，希望通过本文能够让大家对ClickHouse的底层有个更详细的了解。创建表创建语句CREATETABLEtest_merge_tree ( `Id` UInt64, `Birt..

公司同事的文spark的任务，在运行期间executor总是挂掉。刚开始觉得是数据量太大executor内存不够。但是估算了数据量，觉得不应该出现内存不够。于是，首先尝试通过jvisualvm观察executor的内存分布：老年代还没填满，进程就会出现挂掉的情况，所以并不是jvm级别的OOM。仔细检查对应NodeManager的日志，发现如下日志：WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor

公司的IT运维日志系统，用的spark+kafka架构。工程师们也经常有一些实战心得。转之在采用log4j的kafka-appender收集spark任务运行日志时，发现提交到yarn上的任务始终ACCEPTED状态，无法进入RUNNING状态，并且会重试两次后超时。期初认为是yarn资源不足导致，但在确认yarn资源充裕的时候问题依旧，而且基本上能稳定复现。起初是这么配置spark日志输出到kafka的:log4j.rootCategory=INFO, console, kafkalog4