
技术积累
文章平均质量分 63
子牙-神仙难躲一溜烟
从事软件研发工作10多年,对互联网相关技术有深入研究和独到见解
展开
-
ElasticSearch先关指令
}],解决办法:原创 2023-09-05 19:52:51 · 117 阅读 · 0 评论 -
git 常用命令总结
重置后,在执行命令时重新输入用户名密码,即可。原创 2023-02-24 09:08:21 · 145 阅读 · 0 评论 -
知其所以然 之 HashCode
直接定址法是以数据元素关键字k本身或它的线性函数作为它的哈希地址H(k)=k 或 H(k)=a×k+b地址年龄人数A111000A221500A99991500A1001001800在这个例子中,直接用年龄本身作为地址。这种哈希函数简单,并且对于不同的关键字不会产生冲突,但可以看出这是一种较为特殊的哈希函数,实际生活中,关键字的元素很少是连续的。用该方法产生的哈希表会造成空间大量的浪费,因此这种方法适应性并不强。原创 2023-01-08 14:54:29 · 390 阅读 · 0 评论 -
Kafka文件存储机制详解
第二步通过segment file查找message 通过第一步定位到segment file,当offset=368776时,依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址,然后再通过00000000000000368769.log顺序查找直到offset=368776为止。offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。原创 2022-12-16 09:29:27 · 529 阅读 · 0 评论 -
ClickHouse 常用语句
查看测试表在19年12月的分区信息。1.查看数据库容量、行数、压缩率。2.查看数据表容量、行数、压缩率。–在此查询一张临时表的信息。4.查看数据表字段的信息。3.查看数据表分区信息。原创 2022-12-16 09:11:26 · 759 阅读 · 0 评论 -
Shared Everthting、Shared Nothing、和Shared Disk
elasticsearch也是一种MPP架构的数据库,Presto、Impala等都是MPP engine,各节点不共享资源,每个executor可以独自完成数据的读取和计算,缺点在于怕stragglers,遇到后整个engine的性能下降到该straggler的能力,所谓木桶的短板,这也是为什么MPP架构不适合异构的机器,要求各节点配置一样。其采用shared nothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。节点之间的信息交互是通过节点互联网络实现。原创 2022-12-15 10:00:07 · 355 阅读 · 0 评论 -
散列
文章目录散列的基本概念一、散列函数的设计二、几个散列函数1.除余法(division method)2.MAD法(Multiply-add-divide method)3.数字分析法4.随机数法二、冲突解决办法1.封闭定址法(closed addressing)1.开放定址法(open addressing)总结散列的基本概念什么是散列?为什么需要散列?散列是一种思想。与已经学过的其他数据结构相比较,向量是采用循秩访问(call by rank)的访问方式,列表是采用循位置访问(call by ..原创 2021-01-22 18:32:30 · 564 阅读 · 0 评论 -
logstash和filebeat关系
因为logstash是jvm跑的,资源消耗比较大,所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人,加入http://elastic.co公司以后,因为es公司本身还收购了另一个开源项目packetbeat,而这个项目专门就是用golang的,有整个团队,所以es公司干脆把logstash-forwarder的开发工作也合并到同一个golang团队来搞,于是新的项目就叫filebeat了。...原创 2021-01-13 21:27:05 · 544 阅读 · 0 评论