PackedInts Reader + Writer

最新推荐文章于 2024-09-16 00:15:00 发布
原创 最新推荐文章于 2024-09-16 00:15:00 发布 · 212 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Lucene工具包中的PackedInts模块，重点介绍了PackedInts.Reader和PackedInts.Writer。Reader负责解码过程，而Mutable子类增加了设置源数据的功能。文章提到了编码的紧凑型和对齐型策略，对齐型虽速度快但可能造成空间浪费。此外，讲解了iterations的概念，即数据积累到一定大小时进行flush，以提高写入效率。一个iteration对应特定字节数能表示的源数据数量。例如，7个byte能表示8个7Bit数据。详细内容可参阅相关链接。

目录

PackedInts.Reader

在这里插入图片描述
Reader定义了如何解码的过程，其子类Mutable还附加定义了设置源数据的过程。
大的层面编解码存在紧凑型和对齐型两种方式，对齐型速度更快，但是存在空间浪费。

PackedInts.Writer

在这里插入图片描述
这里简单解释下iterations的含义。
一般内存中积累1024B大小的数据时，就一次flush到文件中存储下来，这样写入效率会更高。
一个iteration(迭代批次)表示xxx个字节正好能够表示xxx个源数据(每个源数据需要xxx个Bit位来表达)。
比如 7个byte正好能够表示8个源数据(每个源数据需要7Bit)。

具体可以看https://blog.youkuaiyun.com/gs_albb/article/details/118877893

代码也非常简单，可见 github

相关文章

Lucene源码分析 - 倒排索引之索引表
RovisuKi的博客
03-14 1354
概要 前文已经介绍过什么是倒排索引了，本文将对倒排索引的结构深入进行理解，见下图 整个倒排索引其实分为两部分，左边是Term Dictionary，右边是Postings List，例如对以下内容建立倒排索引，结构较为贴近HashMap>，可类比设想Map的key为Term，value为Postings ...
Reader 和 Writer
qq_51328499的博客
11-21 1621
在了解字节流的读写方式后，我们来看看 字符流 的读写方式 Reader和Writer是java的IO库提供的的另一个流接口，它们和InputStreasm OutputStream的区别是：前者是字符流，以cahr为单位读写，后者是字节流，以byte单位读取 ...
【Elasitcsearch】Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields
九师兄
09-16 1032
Lucene 的 stored fields 主要用于行存文档需要保存的字段内容，每个文档的所有 stored fields 保存在一起，在查询请求需要返回字段原始值的时候使用。。例如。。用户定义的其它字段需要在 ES 的 mapping 中显示设置 field 的 store 属性为 true，该字段才会被 store。在查询的时候返回该字段的原始值。本文主要分析 stored fields 的三个流程及文件存储结构，基于 lucene 7.3.0 版本。
lucene工具包packed概述
gs_albb的博客
07-24 501
目录包类结构 lucene 中org.apache.lucene.util.packed包主要提供了高效压缩int(或者long)数组和解压的方法，以便压缩索引文件大小，以及快速读取索引文件内容。 包类结构
lucene系列(三)DirectWriter源码分析
呼延十
01-31 355
前言 本文学习下 Lucene 在存储大量整数时使用到的编码方法。 介绍 DirectWriter 用 bit 编码方式进行数组压缩的功能，它在整个数组的所有元素都不大的情况下能带来不错的压缩效果。 DirectWriter 是 Lucene 为整型数组重编码成字节数组的工具，它的底层包含一系列编码器，将整型数组的所有元素按固定位长度的位存储。它按 Bit 存储，预留长度过长会浪费空间，短了会因为截断导致错误。因此需要在数组中查找最大值，由它的长度作为存储的长度。 假设有一组数据{4,5,9,0}，它们的二
lucene源码分析---15
conansonic的博客
11-29 2115
lucene源码分析—合并段 合并 段 merge
lucene源码分析---5
conansonic的博客
07-23 7243
lucene源码分析—flush DocumentsWriter的doflush开始， private boolean doFlush(DocumentsWriterPerThread flushingDWPT) throws IOException, AbortingException { boolean hasEvents = false; while (flushi
Elasticsearch中数据是如何存储的
weixin_34236869的博客
03-06 7087
2019独角兽企业重金招聘Python工程师标准>>> ...
安装PyLucene时执行make的错误代码
ghoot的博客
11-08 1059
最后执行make，然后好像没有成功，部分错误代码如下 ctor.h', 'include\\org\\apache\\lucene\\search\\TopFieldCollector.h', 'include\\org\\apache\\lucene\\search\\TopFieldDocs.h', 'include\\org\\apache\\lucene\\search\\TopScor
MATLAB的ARFF reader_writer工具_ARFF reader_writer tools for MAT
最新发布
09-15
MATLAB的ARFF reader_writer工具是专为支持WEKA数据格式而设计的，该格式名为ARFF（Attribute-Relation File Format），广泛用于机器学习和数据分析领域。ARFF格式是一种用于存储有标签数据集的文件格式，它包含了...
Emv Reader Writer v8.6_Writerv8.6_EMVv8.6_EMVReader/Writer_EMVWr
10-01
EMV Reader Writer v8.6 是一款专门针对EMV（Europay, Mastercard, Visa）标准智能卡的读写工具。EMV是一种国际通用的银行卡技术，它为芯片卡提供安全交易环境，增强了防欺诈功能。这款软件适用于计算机，能够帮助...
OFD Reader & Writer 开源的OFD处理库
04-23
本篇文章将重点介绍开源的OFD处理库——"OFD Reader & Writer"，以及它在文档生成、数字签名、文档保护、文档合并、转换和导出等关键功能上的应用。 OFD Reader & Writer 是一款专为开发者设计的工具包，它允许...
你的java对象占用了多少内存？
gs_albb的博客
08-07 791
目录Java对象内存结构相关文档 Java对象内存结构 没什么可说的，可查看下方的相关文档Java对象的内存布局。 只是需要多补充一个知识点，对象头(object header) 本身就是要求8字节对齐的，而不仅仅是object整个对象要求8字节对齐。 相关文档 Java对象的内存布局 RamUsageEstimator hotspot ...
字符编码分析
gs_albb的博客
06-11 638
目录字符编码案例Binary string comparison with UTF-16相关文章 字符编码案例 从unicode字符百科上随机找到一个字符 ????，其code Point为U+1F600, codePoint的范围为0x0000到 100000。 其编码结果如下: 这里只做一个基本的解释，具体原因参考其他资料。 uft-8 0x1F600用utf-8表示，需要4个字节，所以binary列 第一个11110xxx,4个连续的1表示表示需要4个字节表示，后面每个字节以10开头，将0x1F
nvd、nvm索引文件的生成
gs_albb的博客
07-10 637
nvd, nvm文件主要描述的是索引阶段每个Field的域标准化值。 nvd 参考 -nvd&&nvm
lucene内存建立倒排索引分析
gs_albb的博客
06-05 561
目录基本知识示例与分析总结参考 本文基于lucene 8.8.2，总体介绍了倒排索引的写入过程 基本知识 基本可以参考倒排表上这篇文章。 示例与分析 测试源码见github /** * 测试只增加倒排索引 */ @Test public void testCreateInvertFieldDocIndex() throws IOException, URISyntaxException { IndexWriter writer = getIndexWr
lucene增量编解码与单调性
gs_albb的博客
08-07 434
目录编码原理 新吸收了个单词 Monotonic(单调的),MonotonicBlockPackedWriter和MonotonicBlockPackedReader类主要用于对于单调递增的数据进行编解码。 举个例子，现在有一批数据100个，是单调递增的，首元素是Interger.MAX_VALUE-88888,后面每个元素比前一个元素大1-10之间,如果不进行压缩编码的话，需要100*4=400个字节。 如果编码的话，如果按照增量编码的话，基准元素需要4字节(最小元素，也是首元素), 100个源数据都用增
文档相关性
gs_albb的博客
05-04 412
目录tf-idf参考 tf-idf TF-IDF（term frequency–inverse document frequency)词频-逆文档频率。 从感性的角度看，一个词在一篇文档中出现的频率越高，则相关性越高，词频(tf)就越高，相关性也越高。 但是，如果该词在所有文档中出现的频率也很高，则说明该词很普遍，区分度没那么高，文档频率高，逆文档频率(idf)低，相关性就低。 最终已 tf * idf 综合起来评估相关性。 参考 百度百科 ...
lucene工具类FutureArrays
gs_albb的博客
06-06 406
lucene7.x 引入，数组处理工具类。方法大多与与jdk 9 中Arrays的方法相同。在java 8的环境下，lucene仍然使用此类。当lucene的后续发行版本最低要求使用jdk9时，该类将移除，直接使用jdk9的Arrays类,功能一致。 equals方法比较两个字节数组 /** * Behaves like Java 9's Arrays.equals * @see <a href="http://download.java.net/java/jdk9/docs/api/
Java IO流深入解析：Reader与Writer的使用技巧
"Java IO流 reader和writer的方法使用" 在Java中，IO（Input/Output）流是处理数据输入和输出的重要工具。本篇将详细讲解Java中的`Reader`和`Writer`类及其常用方法。 `Reader`和`Writer`是Java IO流中的字符流，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值