大数据
文章平均质量分 54
TDengine (老段)
目前在涛思数据从事 TDengine 数据库开发,曾在腾讯公司从事多年大数据研发工作
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
你知道 TDengine 被问最多的问题是什么?
是库各、表名或字段名等使用名字的地方要使用反引号,涉及的问题包括名称想要用大写名称,想要用特殊字符,或想要用被关键词占用的各称等,所有使用名称出问题的,加反引号可解决,希望大家也能都知道,以后或许可以用的上。原创 2024-12-03 22:18:38 · 177 阅读 · 0 评论 -
TDengine 写入性能优化最佳实践
多表低频是指根据数据库的配置,一个 vnode 中单次数据落盘的单表数据条数普遍小于 minRows 时,可视为多表低频场景。stt_trigger 是解决多表低频场景引入的一个参数和一套机制,stt_trigger 等于 1 时,数据是从buffer 直接落到最终的 data 文件中,零散的写入 last 中,当 stt_trigger 大于 1 时,原来的直接落盘被分成两步来完成,第一步数据先写到 stt 文件中,第二步再从 stt 中写入到 data 文件完成最终落盘。2024-7-21 于北京。原创 2024-09-03 13:55:25 · 2688 阅读 · 0 评论 -
时序数据库是什么?
以时间为序主产生的数据称之为时序数据,存放这些时序数据的库称之为时序数据库。时序数据一般是由设备周期性产生,特点是量大价低,主要用于监控及统计设备产生的数据,预测趋势。因为量非常巨大,所以不适合放关系型数据库中。原创 2023-05-21 16:54:07 · 298 阅读 · 0 评论 -
pyspark 中删除hdfs的文件夹
在pyspark中保存rdd的内存到文件的时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法,是通过调用shell命令 hadoop fs -rm -f来删除,这个方法感觉不怎么好,所以继续找。后来通过查找hadoop hdfs 的源代码发现 hdfs是通过java的包 org.appache.hadoop.fs中的几个类来完成的,也有用java创建 hdfs对象再调用对象的删除...原创 2020-12-01 20:39:52 · 3271 阅读 · 0 评论
分享