- 博客(16)
- 收藏
- 关注
RSS订阅原创 如何在任何情况下都能找到方法？解决问题方法论 —— 一升一降
“一升一降”其实就是我们所说的泛化+迁移的过程。如果停留在事物的表象上，那么大概率很难找到解决方案。但对其进行抽象，然后泛化，就会发现更广阔的世界。
2024-08-27 11:09:01
847
原创 PostgreSQL DETAIL: Key (id)=(423) already exists. 问题解决
问题的根源在于从SQL导入数据，或者有插入存在一些ID不连续的数据，导致的自增ID不连续。而PG不会自动处理这种ID。
2024-08-27 09:30:08
517
原创 golang-gin使用中间件处理文本-时间字符串格式
中间件是典型的面向层的，而不是面向对象的思想的产物。利用gin的中间件，基本上可以完成大部分的统一的文本处理需求。
2024-08-27 09:08:41
1204
原创 Clickhouse x PostgreSQL --从PG中读取数据作为字典进行查询
clickhouse支持PG表引擎，可以双向读写PG表。这个特性可以弥补clickhouse对数据管理方面的不足，例如数据的删除、事务、整表查询等，但正好PG擅长这些。因此在一个项目里使用这个两种数据库，是一个比较好的选择。
2024-08-16 07:00:00
1209
原创 利用clickhouse的URL引擎做数据推送
从远程 HTTP/HTTPS 服务器查询数据。这个引擎类似于文件引擎。（来自官方文档，见引用）简单来说，就是能从URL读、写数据，就像读写一个数据库一样。读是GET、写是POST。
2024-08-13 07:00:00
2883
原创 网络是什么-利用代码模拟理解网络的本质
从零开始学习SDN，整个过程异常艰难。为此愿意降低大家学习SDN的难度，本系列的目标是，即使一个非计算机专业的人，只要有一定的编程能力，也能在学习了系列后，能够上手SDN相关的应用与实战。主要利用仿真技术来学习，以降低学习成本。我们将使用第一性原理的思路，来开始这段历程。我们将使用第一性原理的思路，来开始这段旅程。首先第一个问题就是，网络的本质是什么？
2024-08-11 23:19:14
1321
原创 使用图形化工具分析clickhouse数据之tableau-从安装到技巧
使用tableau分析clickhouse里的数据。从安装到一些简单使用技巧。
2024-08-10 19:18:12
1178
原创 使用celery做异步的clickhouse表导出--带去重和任务数控制
使用celery做异步的clickhouse表导出，带任务去重和任务数控制，提供外部访问API。
2024-08-09 07:00:00
947
1
原创 如何高效处理亿级海量数据-Clickhouse速通（下）
但在少数情况下，如果你要查询的结果不幸分布在了两个不同的part里，那么合并就不会很彻底，也就是相同的主键会出现两个，结果就会出现两条了。其中：sumMap([method], [1]) AS method_Map 这部分的意思是给每个值都设置一个计数值，出现就记为1，sumMap会自动归并相同的key，同一个key对应value累加。一般要使用sumMerge/sumMapMerge 这样的xxxMerge函数来合并统计结果，相应的统计也要使用xxxState的函数进行统计。物化视图是可以逐层叠加的。
2024-08-08 18:30:00
2414
原创 如何高效处理亿级海量数据-Clickhouse速通（上）
其实原因也很简单，Clickhouse的创始公司，Yandex，是俄罗斯最大的搜索引擎，其处理的数据也必然都是互联网的数据，我们面对的数据本质上是相同的。这里展示了存储了一天的数据量。SETTINGS index_granularity = 16384 这个是参考了Cloudflare的方案，因为日志量大集中，用较大的粒度可以更好的利用存储和提高压缩比，计算也更快。带来的第一个特性就是压缩特性，因为同一列的数据通常是相似的，因此相比行它们具有更高的压缩比，所以列数据库可以很方便的利用压缩减少存储占用。
2024-08-07 07:00:00
2535
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人