使用 Easysearch，日志存储少一半

最新推荐文章于 2025-11-30 23:37:19 发布
原创 最新推荐文章于 2025-11-30 23:37:19 发布 · 249 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #搜索引擎 #全文检索

文章对比了Elasticsearchv6.4.3与Easysearchv1.1在处理相同日志数据时的索引大小，显示Easysearch通过ZSTD压缩算法和文档源复用功能显著降低了索引膨胀率，从而减少存储成本并提升查询效率。Easysearch是一个轻量级的Elasticsearch替代品，专注于搜索业务场景的优化。

在海量日志存储场景中，索引膨胀率是一个关键指标，直接影响存储成本和查询性能。它表示原始数据与索引数据在磁盘上所占空间的比率。较高的索引膨胀率不仅增加了存储成本，而且可能会影响查询速度，尤其是在 I/O 密集型的查询中。因此，我们需要密切关注和优化索引膨胀率。接下来，我们将比较 Elasticsearch 和 Easysearch 在处理相同数据时的索引膨胀率。

测试结果

一图胜千言，下图是 Easysearch v1.1 和 Elasticsearch v6.4.3 的索引大小测试对比，Y 轴单位是 MB。

使用 Easysearch v1.1 的压缩功能，比 Elasticsearch v6.4.3 的索引大小降低了 50%。

测试说明

以下是对 Elasticsearch v6.4.3 版本，测试数据 500 万条大小 1.054G(1080M)的 nginx 日志，使用 es 默认的 mapping，分别用 best_compression 和 default 的压缩策略进行写入。
Elasticsearch v6.4.3

<
索引 大小(MB) 膨胀率 条数(万)
nginx_default_1g 1812.61 1.61 500
nginx_best_1g 1551.36 1.42 500
最低0.47元/天 解锁文章
Easy Search-crx插件
04-04
语言:English 按Ctrl + Shift + S（在Mac上为Command + Shift + S）在Google上搜索所选文本。 这个漂亮的扩展名可帮助您在Google搜索引擎上快速搜索当前突出显示的文本。 只需按组合键（Ctrl + Shift + S）即可在Google上搜索所选文本。
Elasticsearch磁盘配置与优化：大数据环境下的最佳实践
VavzNvml的博客
09-19 461
通过遵循这些最佳实践，您可以更好地利用Elasticsearch在大数据场景下的优势，并获得更好的性能和可靠性。您可以使用Elasticsearch提供的监控工具，如Elasticsearch Monitoring插件和Elasticsearch性能监视器，来跟踪关键指标和性能瓶颈。在大数据环境中，合理的磁盘配置和优化对于确保Elasticsearch的性能和可靠性至关重要。对于磁盘类型，固态硬盘（SSD）通常比传统的机械硬盘（HDD）表现更好，因为它们具有更快的读写速度和更低的访问延迟。
Nginx 精通 - HTTPS优化配置及典型问题
qq_33240556的博客
03-22 677
总之，Nginx的HTTPS优化不仅仅是配置SSL证书那么简单，还需要关注协议选择、加密套件配置、性能优化等方面，以确保既能保护用户数据安全又能提供良好的用户体验。使用HTTP/2、Brotli或Zstd压缩算法，优化SSL/TLS配置，考虑启用OpenSSL的硬件加速功能（如AES-NI或SSL加速卡支持）等。确认Nginx配置中使用的加密套件支持False Start。HTTP/2协议可以有效减少延迟，提高传输效率。如果客户端报告证书链不完整，需要确保Nginx配置中包含了根证书和中间证书。
Zstd Nginx 模块使用教程
gitblog_00575的博客
08-25 592
Zstd Nginx 模块使用教程 1. 项目的目录结构及介绍 zstd-nginx-module/ ├── LICENSE ├── README.md ├── config ├── src │ ├── ngx_http_zstd_filter_module.c │ ├── ngx_http_zstd_static_module.c │ └── ... ├── test │ ├──...
Nginx模块之Zstandard压缩：zstd-nginx-module使用指南
gitblog_00557的博客
08-24 1362
Nginx模块之Zstandard压缩：zstd-nginx-module使用指南 项目介绍 zstd-nginx-module 是一个专为Nginx设计的模块，用于实现Zstandard（简称zstd）压缩算法。该模块使Nginx能够对HTTP响应进行高效压缩，显著减小传输数据的大小，从而提升网页加载速度。本模块目前被标记为实验性的，意味着虽然它提供了强大的功能，但在生产环境中使用时需额外注意...
Easysearch Java SDK 2.0.x 使用指南（一）
infinilabs的博客
12-15 1054
这次 easysearch-client 2.0.x Java 客户端的更新真的很给力，强烈建议大家升级体验！相信我，用了新版客户端，你的开发效率绝对会提升一大截！想要了解更多？更详细的文档和示例代码在官网持续更新中，请随时关注！大家有啥问题或者建议，也欢迎随时反馈！作者：张磊，极限科技（INFINI Labs）搜索引擎研发负责人，对 Elasticsearch 和 Lucene 源码比较熟悉，目前主要负责公司的 Easysearch 产品的研发以及客户服务工作。
使用 Easysearch 打造企业内部知识问答系统
infinilabs的博客
07-29 1131
大家可能都有这样的经历，刚入职一家企业时，同事往往会给你分享一些文档资料，有可能是产品信息、规章制度等等。这些文档有的过于冗长，很难第一时间找到想要的内容。有的已经有了新版本，但员工使用的还是老版本。基于这种背景，我们可以利用 Easysearch 加 LLM 实现一个内部知识的 QA 问答系统。这个系统将利用 LangChain 框架调用本地部署的大模型和 Easysearch，实现理解员工的提问，并基于最新的文档，给出精准答案。
Easysearch Rollup 使用指南
infinilabs的博客
01-15 707
Rollup 是一种数据聚合技术，主要用于处理时序数据。它通过将细粒度的原始数据汇总为粗粒度的数据，从而减少存储空间并提高查询效率。简单来说，Rollup 可以将大量的详细数据压缩为更小的、更具代表性的数据集，同时保留关键的业务指标。Rollup 是处理时序数据的强大工具，能够有效降低存储成本并提高查询性能。Easysearch 的 Rollup 功能不仅支持多种聚合类型，还提供了自动滚动索引、无缝查询等特性，极大地简化了时序数据的管理和分析流程。通过合理配置metricsattributes。
Easysearch Java SDK 2.0.x 使用指南（三）
infinilabs的博客
01-03 1046
本文介绍了 Easysearch Java SDK 2.0.2 中的三种核心查询：Query String、Bool Query 和 Constant Score。Query String 擅长灵活处理用户输入的全文检索，支持布尔逻辑和通配符。Bool Query 则通过组合 must、must_not、should 和 filter 等子句，满足复杂的多条件查询需求。Constant Score 则专注于高效过滤和统一评分，适用于不需要排序的场景。想要了解更多？更详细的文档和示例代码在官网。
INFINI Labs 产品更新 | 重磅推出 Easysearch v1.1
infinilabs的博客
05-16 658
INFINI Labs 产品更新啦，其中重要产品【INFINI Easysearch】正式亮相，100% 自主可控，内嵌压缩算法极大节省硬件成本，日志存储占用直接砍半。Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。欢迎大家下载体验和反馈。
INFINI Easysearch尝鲜Hands on
改变世界，改变自己
06-30 1408
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。Easysearch 支持原生 Elasticsearch 的 DSL 查询语法，确保原业务代码无需调整即可无缝迁移。同时，极限科技还支持
ELK日志分析系统
小杨博客 学习交流
10-11 1781
ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。
如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享
DiDi_Tech的博客
08-10 2838
前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。//背 景//ES通过索引（Index）对外提供数据检索能力，索引是用于组织和存储数据的逻辑单元。每个索引由若干个分片（...
拿走不谢！4100套iOS源码，40G！
ChatGPTer
11-10 1861
此时，只需要一张图就可以表达。
Elasticsearch - 配置详解
热门推荐
上善若水，水善利万物而不争。
11-03 2万+
1.1. 配置详解elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。cluster.na
Git：版本控制工具Git的详细介绍
qq_42279379的博客
11-26 820
Git的本质使用“快照+引用链”串联所有的历史快照：项目中所有文件的完整切片，被修改的文件会被完整记录，没有被修改的文件会复用；通过 “硬链接复用”—— 未修改的文件，新快照不存新数据，只存一个指向旧快照中该文件数据的 “指针”引用链：每次git commit，都会生成一个提交对象，这个提交对象包含三个数据区域（一个父指针、一个快照指针、还有一些元数据）；父指针记录前一个提交的指针，快照指针记录当前提交时刻的快照对象，元数据包含提交时的注释、提交时间、作者信息等；
SpringBoot的@Scheduled和@Schedules有什么区别
2509_94189991的博客
11-30 631
对于更复杂的需求，比如调整线程池大小或者设置线程名称前缀等，你可以通过自定义来进行配置。Spring提供了几种内置的调度器实现，如和。@Override@Override@Override// 自定义异常处理逻辑。
6. c++ 20 Modules 使用
最新发布
qq_51355375的博客
11-30 619
c++ 20 Modules 使用
FlinkCDC实战：将 MySQL 数据同步至 ES
2509_94096596的博客
11-30 355
CDC (Change Data Capture) 是 变更数据获取的简称。核心思想是监测并捕获数据库的变动(数据或数据表的插入、更新以及删除等)，将这些变更按发生的顺序完整地记录下来，写入到消息中间件中以供其他服务进行订阅并消费。Flink 社区开发了 flink-cdc-connectors 组件，这个一个可以直接从 MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source 组件。
easysearch
06-13
### EasySearch 技术概述 EasySearch 是一种广泛应用于搜索功能实现的技术，它既可以作为库（Library），也可以作为框架（Framework）或工具（Tool）来使用。以下是关于 EasySearch 的技术内容及其实现方式的详细介绍。 #### 1. EasySearch Library EasySearch Library 是一种轻量级的搜索库，通常用于在应用程序中快速集成搜索功能。它可以处理文本、文档或数据库中的数据检索任务。以下是一个简单的示例代码，展示如何在 C# 中使用类似的搜索库进行文件解压后的搜索操作[^1]： ```csharp private List<string> PerformSearch(string save_path, string keyword) { List<string> results = new List<string>(); try { foreach (string file in System.IO.Directory.GetFiles(save_path, "*.*", System.IO.SearchOption.AllDirectories)) { string content = System.IO.File.ReadAllText(file); if (content.Contains(keyword)) { results.Add(file); } } } catch (Exception e) { System.Diagnostics.Debug.WriteLine(e.Message); } return results; } ``` 此代码片段展示了如何在解压后的文件夹中搜索包含特定关键字的文件。 #### 2. EasySearch Framework EasySearch Framework 提供了更高级的功能，例如全文索引、模糊匹配和高性能查询。这种框架通常需要配置额外的参数以支持多架构环境下的运行。例如，在 Xcode 中解决架构问题时，可以通过设置 `EXCLUDED_ARCHS` 来确保框架兼容性[^2]： ```bash EXCLUDED_ARCHS__EFFECTIVE_PLATFORM_SUFFIX_simulator__NATIVE_ARCH_64_BIT_x86_64=arm64 arm64e armv7 armv7s armv6 armv8 EXCLUDED_ARCHS=$(inherited) $(EXCLUDED_ARCHS__EFFECTIVE_PLATFORM_SUFFIX_$(EFFECTIVE_PLATFORM_SUFFIX)__NATIVE_ARCH_64_BIT_$(NATIVE_ARCH_64_BIT)) ``` 这些设置可以避免在模拟器上运行时出现的架构缺失问题。 #### 3. EasySearch Tool EasySearch Tool 是一种独立的工具，通常用于开发者快速测试搜索逻辑或调试复杂查询。例如，在 Unity3D 环境中，可以通过自定义构建后处理脚本来嵌入动态库框架，从而增强搜索功能[^3]： ```csharp using UnityEditor; using UnityEditor.Callbacks; using System.IO; public class PostProcessBuildClass { [PostProcessBuildAttribute(1)] public static void OnPostprocessBuild(BuildTarget target, string pathToBuiltProject) { if (target == BuildTarget.iOS) { string easySearchFrameworkPath = Path.Combine(pathToBuiltProject, "Frameworks/EasySearch.framework"); if (Directory.Exists(easySearchFrameworkPath)) { Debug.Log("EasySearch Framework is embedded successfully."); } else { Debug.LogError("Failed to embed EasySearch Framework."); } } } } ``` 这段代码展示了如何在 Unity3D 构建过程中自动嵌入 EasySearch 动态库框架。 #### 4. 易语言中的 EasySearch 实现 在易语言环境中，如果需要解决类似“内核库未找到”的问题，可以通过修改注册表路径来指定正确的库位置[^4]。例如： ```plaintext HKEY_USERS\S-1-5-21-1039208482-1703432605-1516436592-1000\Software\FlySky\E\Install\Path ``` 将上述路径值设置为易语言安装目录，例如：`C:\Program Files (x86)\e\lib\`。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值