- 博客(14)
- 收藏
- 关注
RSS订阅原创 【可视化】Python绘制风车玫瑰图动画
思路是先使用 resampled() 方法从调色盘中取 16 * 3 = 48 个颜色，再给每个柱子用不同的颜色。pyplot中没有找到堆积条形图的办法，只有 stackplot() 堆积面积图，所以直接用 bar()方法画。修改柱子的颜色, 并添加柱子边框。因为配色无能，所以直接使用了plt的颜色重采样，好东西啊。由于x轴的刻度没有转换成角度，所以外圈的刻度不对，A和G靠太近了。创建 (16,3) 的数集，对应16个风车柱子，每个柱子分三层。因为数据集是随机生成的，所以每张图的柱子高度不一致，勿怪。
2023-09-28 17:32:06
810
1
原创 【其他】使用VSCode开发 Azure Function
Azure Function 是微软 Azure 提供的一种无服务器托管式的 Function 部署方式，即可以将 Function 直接部署到 Function App 函数应用中，不需要配置服务器和运行环境，支持 C++、Python、Java、JavaScript 等多种语言。Azure Function 对于部分语言提供网页开发环境，但 Python 等需要在本地开发后，Deploy 部署到 Azure Function App 函数应用中。本地开发推荐使用 VSCode。
2023-06-25 17:30:18
871
原创 【Kinetica】SQL GPT功能测试
Kinetica 集成了 ChatGPT，可以将自然语言直接转化成SQL，刚测试了下，能够理解比较复杂的查询，可以按照中文语意自动找字段，挺好用的。但是该功能需要联网才能使用，应该是需要把相关的数据发给 ChatGPT，对数据安全会比较在意。
2023-06-09 12:08:30
685
原创 【Kinetica】Kinetica DB：速度达到ClickHouse 13倍的OLAP数据库
Kinetica 诞生是在2009年，鹰酱家的陆军情报部要求实时对数据情况进行分析，当时的数据库没有能达到需求的，于是两个创始人 Amit Vij 和 Nima Negahban ，开始基于 GPU 的大规模并行计算功能设计新的数据库，这就是 Kinetica 的来源。2016年， Kinetica 开始商品化，之后陆续推出了SQL兼容性、图计算、空间分析等实时分析功能和主动分析功能，并在2022年推出了云端服务。
2023-06-08 18:18:52
547
原创 【dbt】模型 model 功能和物化方式 materialized说明
model是dbt的核心功能。分析工程师可以用简单的Jinja语法（不用Jinja，直接写sql也可以），创建出较复杂的sql（类似动态sql），保存在model文件中。dbt可以通过编译model，即可自动完成建表、文档、血源关系、执行顺序等工作，极大简化了分析师的工作。实现dbt的价值——给分析工程师提供一个能支持高效开发持续交付的工具。
2023-05-29 21:09:16
910
1
原创 【dbt】数据加工大师浅谈
dbtdbt是 dbt labs 公司在2016年推出的一款基于 Python 的开源数据加工工具。从2019年开始，dbt的用户数量增涨十分迅速。dbt labs 凭借此工具，在2022年估值达到了 42 亿美金。dbt。
2023-05-28 23:20:37
1375
4
原创 【dbt】配置表注释、字段注释
dbt在生成table模型的时候，默认是不带表注释和字段注释的。如果需要添加注释，则需要使用以下方式配置选项，建表时带上注释。
2023-05-28 21:51:23
605
1
原创 【dbt】使用source引用已存在的表
dbt在运行时，会按照ref()和source()方法，构造出所有模型的DAG——有向无环图，再按照DAG的顺序执行。此外，dbt也是通过这两个方法，确定数据血缘关系，并在docs中展现出来。ref()引用的是dbt中构造的表模型，但是对于数据库中已经有，在dbt中没有模型的表，虽然可以直接在SQL语句中使用，但这种方法在血源图中就看不到了，需要使用source()引用。
2023-05-28 15:02:28
500
1
原创 【dbt】使用seed导入csv文件
在做数据准备时，偶而也会遇到有.csv文件需要读取的情况，dbt提供seed功能读取.csv文件到数据库。读取后的表，可以使用ref()方法引用。
2023-05-28 14:13:18
481
1
原创 【dbt】使用dbt对表格进行列转行
在做数据准备时，偶而会遇到excel之类的二维表，把维度值放在了字段上，需要进行列转行。dbt同样也可以使用Jinja和来实现。
2023-05-28 11:50:42
297
1
原创 【dbt】使用dbt对表格行转列
使用dbt的Jinja语法，可以实现动态SQL的效果，拼接出想要的SQL语句。以下是关于行转列的例子，使用了Jiaja的变量、遍历语法，以及dbt的方法和方法。
2023-05-26 19:26:41
837
原创 【dbt】使用snapshot快照生成拉链表
在做数仓开发时，为了保存缓慢变化维度的历史信息，需要用到拉链表。以下是使用 dbt——数据加工大师的 snapshot 生成拉链表的办法。
2023-05-26 16:48:30
524
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人