可以用ChatGPT搜索论文了

 Datawhale干货 

作者：陈萍，来源：机器之心

搜索arXiv最相关论文一键直达，多亏了ChatGPT，几天就完成。

看来论文搜索工具也开始卷了！

对于天天查找论文的小伙伴来说，有一个好用的搜索工具，那简直不要太开心，效率妥妥的上升。

但现实结果却是，要么搜索工具不给力，要么自己输入的关键词不起作用，反正，自己脑海里想找寻的论文和搜索出来的结果不能说毫无关系，简直是天差地别。

下面我们将要介绍的这个网站，可以帮你搞定论文搜索遇到的难题，网站名为 arXiv Xplorer，专门用于对 arXiv 上的论文进行语义搜索。根据项目作者介绍，该网站的内部算法使用了 OpenAI 的最新嵌入模型，可以为用户进行搜索查询，从而找到最相关的论文。

arXiv Xplorer地址：https://arxivxplorer.com/

项目作者表示：OpenAI 新的嵌入 API 给他留下了深刻的印象，因此他想看看该嵌入是如何在实践中使用的。所以他花了几天时间来构建这个项目，到目前为止，它工作得非常好。除此以外，他还用 ChatGPT 编写了 80% 的 UI，用 pinecone 来存储向量数据库，并用 googlecloud 函数来嵌入查询并执行查找。

想要了解嵌入模型更多内容，可以前去网站查看。

嵌入模型：https://openai.com/blog/new-and-improved-embedding-model/

借助 arXiv Xplorer，你可以找到所需论文，即使是你的描述非常模糊，甚至只是输入「有趣的 ML 论文」这种没有信息含量的描述，该引擎也能帮你完成。如下所示，输入几个关键字后该网站展示的查询结果。

在此过程中，相比谷歌或 arXiv 自己的搜索等传统搜索工具来说，你还能发现以前从未见过的有趣论文，相比来说，似乎 arXiv Xplorer 效果更胜一筹。

你也可以通过粘贴 arxiv url 直接搜索类似的论文，举例来说，下图的输入是论文《A Generalist Agent》的地址，搜索结果显示（红框），A Generalist Agent 相似度为 100%，其他的搜索结果按照得分依次展开。

除此以外，你还可以点击上图红框中的小三角，之后界面变成下图所示，显示论文参与者和摘要，下面还有两个功能：「More Like This」将会显示更多相似论文；「View」会链接到论文在 arXiv 的主页。

看到这个功能齐全的网站，网友的好奇心也是憋不住了，问道「你用到了 OpenAI 的嵌入技术，但是这项技术是收费的，那你为此交了多少钱？」。项目作者表示：「将所有论文嵌入 CS 类别（约 50 万篇）需要 40 美元。」

还有网友对技术展开了一系列问题，例如：「这个网站是嵌入了所有 arXiv 的标题吗？」项目作者表示：「他把所有论文的标题和摘要都嵌入了，最初手动做余弦相似度和排序，但 pinecone 使它超级简单！」

还有网友建议到：「这个工具搜索功能做得很好！如果能够按发布日期查看和排序，那就太酷了。」对于这一点，项目作者表示之后会不断优化，争取实现更完美的功能。

参考链接：https://twitter.com/tomtumiel/status/1611729847700570118?s=20&t=sW31zy64CvhMH81ntcxzXw

整理不易，点赞三连↓