Milvus Java SDK JSON解析问题分析与修复

Milvus Java SDK JSON解析问题分析与修复

【免费下载链接】milvus-sdk-java Java SDK for Milvus. 项目地址: https://gitcode.com/gh_mirrors/mi/milvus-sdk-java

问题背景

在Milvus Java SDK从2.5.4版本升级到2.5.5及以上版本后，部分用户在执行hybridSearch操作时遇到了JSON解析错误。错误表现为com.google.gson.JsonSyntaxException，提示JSON格式不正确，具体错误信息为"Unterminated object"，指向JSON字符串中的某个特定位置。

问题现象

用户反馈的主要症状包括：

1. 在2.5.4版本中正常工作的JSON数据查询，在升级到2.5.5及以上版本后出现解析错误
2. 错误通常发生在处理包含富文本或复杂嵌套结构的JSON字段时
3. 回退到2.5.3版本后问题消失

根本原因分析

经过深入调查，发现问题源于SDK内部对JSON字段处理逻辑的变更：

1. 版本差异：

   • 2.5.3版本直接解析原始JSON字符串
   • 2.5.5版本引入了额外的JSON格式化处理

2. 格式化问题：

   • 新版本尝试对JSON字符串进行预处理，移除转义字符和外围引号
   • 这种处理对于简单JSON有效，但对于包含HTML标签等复杂内容的富文本JSON会导致格式破坏

3. 数据一致性：

   • 问题暴露出通过不同方式(import vs insert)导入的JSON数据在服务端的处理差异
   • 正确的JSON输入应该直接构造为JsonObject，而非作为字符串传递

技术细节

错误处理流程

在2.5.5+版本中，SDK的FieldDataWrapper.ParseJSONObject方法实现如下：

String ss = ((String)object).replace("\\\"", "\"").replaceAll("^\"|\"$", "");
return JsonParser.parseString(ss);

这种处理会导致类似下面的富文本JSON被破坏：

原始JSON：

"{\"告警名称\":\"持续2分钟未应答...\",\"解决方案\":\"<ol><li style=\\\"text-align: start;\\\">检查网络连接...</li>...</ol>\"}"

格式化后变成：

{"告警名称":"持续2分钟未应答...","解决方案":"<ol><li style=\"text-align: start;\">检查网络连接...</li>...</ol>"}

正确做法

正确的JSON处理应该：

1. 保持原始数据不变
2. 由调用方确保传入的是合法的JSON结构
3. 服务端统一处理JSON字段，不因数据导入方式不同而产生差异

解决方案

Milvus团队在2.5.7版本中修复了此问题，主要变更包括：

1. 回退了有问题的JSON预处理逻辑
2. 恢复直接使用JsonParser.parseString解析原始字符串
3. 更新了示例代码，明确展示正确的JSON构造方式

最佳实践建议

基于此问题的经验教训，建议开发者：

1. JSON构造方式：

   • 使用JsonObject直接构造JSON字段，而非字符串形式
   • 示例：

     JsonObject rowObject = new JsonObject();
     rowObject.add("json", gson.fromJson("{\"key\":\"value\"}", JsonElement.class));
     

2. 版本升级：

   • 升级到2.5.7或更高版本
   • 测试时特别关注JSON字段的处理

3. 数据导入：

   • 统一使用推荐的数据构造方式
   • 避免混合使用不同风格的JSON输入

总结

这次JSON解析问题揭示了SDK中数据处理逻辑的重要性。Milvus团队通过快速响应和修复，不仅解决了眼前的问题，还完善了JSON处理的整体机制。对于开发者而言，理解正确的JSON构造方式和使用最新稳定版SDK，是避免类似问题的关键。

【免费下载链接】milvus-sdk-java Java SDK for Milvus. 项目地址: https://gitcode.com/gh_mirrors/mi/milvus-sdk-java