Queryable：在iOS上使用OpenAI和Apple的MobileCLIP模型进行照片搜索的解决方案
项目地址: https://gitcode.com/gh_mirrors/qu/Queryable 项目基础介绍和主要编程语言
Queryable是一个开源的iOS应用程序，它利用了OpenAI的CLIP（Contrastive Language-Image Pre-training）模型以及Apple的MobileCLIP模型，在本地的'照片'相册中进行搜索。与iOS照片应用内置的基于类别的搜索模型不同，Queryable允许用户使用自然语言语句（如“坐在长凳上的棕色狗”）来搜索照片库。由于它是离线运行的，因此不会像使用Apple或Google这样的公司那样危及您的照片库隐私。
该项目主要使用Swift语言编写，并利用了CoreML来运行模型。核心算法部分涉及图像和文本的向量化处理，通过计算文本向量和图像向量之间的相似度来对图片进行排序和返回搜索结果。
新手使用该项目时需要特别注意的问题及解决步骤
问题1：如何设置并运行Queryable项目？
解决步骤：
- 克隆Queryable仓库到本地计算机。
- 在Google Drive下载相应的
TextEncoder_mobileCLIP_s2.mlmodelc和ImageEncoder_mobileCLIP_s2.mlmodelc文件，并将它们复制到项目目录中的CoreMLModels/路径下。 - 打开项目并确保Xcode配置正确。
- 运行项目。如果遇到编译或运行错误，需要检查模型文件是否正确放置，以及Xcode的编译设置是否与项目目标相对应。
问题2：如何确保照片库隐私不被泄露？
解决步骤：
- 确保在进行照片搜索时，设备处于离线状态，因为Queryable的设计初衷就是为了在本地处理搜索请求，避免数据上传至云端。
- 检查设备的网络连接，确保在搜索过程中没有任何外部网络活动。
- 查看项目文档中的隐私政策部分，确认模型和数据处理方法符合隐私保护要求。
问题3：在不同的iOS设备上运行Queryable是否需要特别的配置？
解决步骤：
- 确保你的开发环境Xcode支持你的iOS设备版本。
- 根据不同的设备配置和性能，可能需要调整模型的版本或参数设置，以便在不同的硬件上达到最佳性能和兼容性。
- 检查是否有针对不同iOS版本的特别注意事项或问题修复，参考项目的Issue部分，查看是否有其他开发者分享的类似问题和解决方案。
通过遵循上述步骤，新手用户可以较为顺利地设置并使用Queryable项目，体验离线照片搜索的便利，同时确保数据隐私得到保护。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
