为了流畅的文档问答体验,我们肝了一年

不知道你是否也有过这样的体验:看到一篇不错的资料,想让AI帮你读一下,却发现第一步就得先找到文件,然后手动上传。更严重的是,当你想问AI某方面的情况时,你发现还得先找到相关资料“上传”给AI才能提问,而这些资料可能早记不清在哪了。还有,你可能已经“上传”过这个资料,但却是过时的老版本,导致AI产出错误的结果。

虽然市面上有很多能做文档问答的AI产品,比如ChatGPT、Google NotebookLM、腾讯ima等,但这个“上传”动作,打断了我们流畅的工作心流,显著增加了用户的操作负担。

如果一个工具不能无缝集成到我们的工作流中,反而需要我们去适应它,那么它的“智能”就大打折扣了。我们认为,如果不能解决自动提供资料的问题,那么AI的能力越强,可能越用不起来。因为AI能力越强,能处理的资料就越多,手动“上传”资料的成本就越高。

那为什么市面上几乎没有产品能够实时将所有新文件和新版本自动加入到知识库,使得让AI做任何任务的时候,文档的内容都已经就绪呢。原因可能有很多,比如云计算和互联网思维的遗毒会让这些厂商都认为获取用户数据是必须的,却没有反思AI时代数据飞轮效应还剩多少。再比如如果实时同步用户文件到云端,除了隐私方面的顾虑,产品定位也比较模糊,比如这是不是又一个网盘呢。

另一个可能的原因是,这件事委实没那么好做,为了让AI能真正无缝地融入你的工作流,背后需要一个极其强大的文档解析引擎。这件事的复杂度远超我们最初的预期。我们曾经希望在春节前就发布本地文件的支持,结果一下子延迟了半年,可见这里面有多复杂。

为了找到最好的文档解析工作流,我们测试和验证了大量的技术路线。基于我们的产品定位和原则,所有解析都必须在用户的电脑端实现,而之前没有产品在电脑端实现这一切。这趟旅程,就像是在技术无人区里开路,每一步都充满挑战。

一个看似简单的“解析文档”动作,背后涉及版式分析、文档元素提取、表格结构解析、视觉元素添加、阅读顺序排序,以及大纲结构识别(即标题和标题层级)等一大堆任务。当我们终于敲定了最优的技术方案后,我们很快就遇到了第一个“拦路虎”:版面分析的开源模型速度太慢,完全无法满足流畅体验的要求。我们没有妥协,而是动手改造,通过使用Mac的NPU进行计算,硬生生将速度提高了10倍。当我们解决了文档解析的性能问题后,又发现大量文件入库导致的向量计算的性能问题。这是因为开源技术(我们使用Qwen mGTE向量化模型)都使用GPU计算,不但速度慢、功耗高,更严重的是还会导致同步大量文件时整个操作系统卡顿,这是因为操作系统的图形界面渲染也需要使用GPU。我们迎难而上,将开源模型网络的所有layer和算子都全部改造一遍,也使用NPU计算,将速度提高两倍,功耗降到可以忽略不计(平均不到2瓦),也解决了导致操作系统卡顿的问题。接着,我们又自研了标题识别和标题层级识别模型,将准确率提升到了90%以上。

然而,真正的魔鬼藏在细节里。我们还必须处理各种棘手的工程问题,比如解决透明背景图片下的文字识别问题,改造那些存在大量不兼容Cython语法的开源软件,优化解析结果的存储(最终将大小优化到仅占用相当于原文档约10%的空间),以及解决同步大量文件时可能导致的应用卡顿问题。

除了文档解析和索引技术,还需要让触点尽可能全面和方便,光做一个文件夹同步功能还远远不够,今天我们很多文件都是从微信、网页和手机端接触的,很多文件我们可能都忘了把它下载和存下来。

为此,我们研究了微信的机制,发现桌面端微信会把所有用户点开过的文件放到一个文件夹下,但这个文件夹很隐蔽,绝大多数用户都不知道它的位置。因此我们做了微信自动检测功能,只要识别到用户安装了微信(Mac端需要4.0以上版本),就一键引导用户同步这个文件夹。这样,你只要在桌面端微信点开(或下载)一个文件,这个文件就会自动入库。

对于在线查看PDF而没有下载的场景,我们又做了在线PDF自动入库功能(而且这个过程中不会额外增加一次下载,延迟极低,不过怎么做到的得保密😄)。对于手机端接触文件的场景,我们做了微信小助手,添加之后一键转发给remio小助手,桌面端就会自动下载文件入库。

正是这些你看得到和看不到的“笨功夫”,才最终换来了简单、流畅、无需等待的文档处理体验。

别的产品是Upload before Ask,remio则是Just Ask, It Knows.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值