AR Cut & Paste用户旅程地图：记录用户使用产品的关键触点
项目地址: https://gitcode.com/gh_mirrors/ar/ar-cutpaste AR Cut & Paste是一款创新的增强现实（AR）与机器学习（ML）原型工具，它允许用户从周围环境中剪切元素并粘贴到图像编辑软件中。目前虽然仅支持Photoshop，但未来可能会扩展到其他输出目标。本文将详细记录用户使用该产品的关键触点，帮助用户更好地理解和使用这一创新工具。
产品概述
AR Cut & Paste原型由三个独立模块组成：
- 移动应用：用户通过移动设备的摄像头捕捉现实世界中的物体。详细信息请参考app/README.md
- 本地服务器：作为移动应用和Photoshop之间的接口，使用screenpoint
- 对象检测/背景去除服务：目前，显著性检测和背景去除功能由外部服务提供。未来可能会直接在移动应用中集成类似DeepLap的解决方案，但尚未在本仓库中实现。
用户旅程地图
1. 准备阶段
1.1 了解系统要求
在开始使用AR Cut & Paste之前，用户需要确保其设备满足基本要求：
- 一台安装有Photoshop的计算机
- 一部支持Expo和React Native的移动设备
- 稳定的网络连接（用于外部服务通信）
1.2 克隆项目仓库
用户需要先克隆项目仓库到本地计算机：
git clone https://link.gitcode.com/i/9fc9b50ef6571f079edec6122fbffac5
2. 配置阶段
2.1 配置Photoshop
首先，用户需要在Photoshop中进行必要的设置：
- 打开Photoshop，进入"Preferences > Plug-ins"
- 启用"Remote Connection"并设置一个密码
- 确保PS文档设置与server/src/ps.py中的设置匹配，否则可能只会粘贴一个空图层
- 确保文档有某种背景，纯空白背景可能导致SIFT特征不足，影响匹配效果
2.2 设置本地服务器
本地服务器的设置步骤如下：
-
进入服务器目录：
cd ar-cutpaste/server -
创建并激活虚拟环境：
virtualenv -p python3.7 venv source venv/bin/activate -
安装依赖：
pip install -r requirements.txt
2.3 设置对象检测/背景去除服务
用户有两种选择来设置对象检测和背景去除服务：
选项1：设置自己的模型服务（需要CUDA GPU）
- 部署BASNet模型作为外部HTTP服务，可使用BASNet-HTTP wrapper
- 记录部署的服务URL，用于配置本地服务器
- 如果在同一台计算机上运行BASNet，请确保配置不同的端口
选项2：使用社区提供的端点
社区提供了一个公共端点，适合没有CUDA GPU或不想自行运行服务的用户：
--basnet_service_ip http://u2net-predictor.tenant-compass.example.com
2.4 配置和运行移动应用
移动应用的设置步骤如下：
-
进入应用目录：
cd ar-cutpaste/app -
安装依赖：
npm install -
更新服务器IP地址： 编辑app/components/Server.tsx文件，将URL更改为运行本地服务器的计算机的IP地址：
const URL = "http://192.168.1.29:8080"; -
启动应用：
npm start
3. 使用阶段
3.1 启动本地服务器
配置并启动本地服务器：
python src/main.py \
--basnet_service_ip="http://X.X.X.X" \
--basnet_service_host="basnet-http.default.example.com" \
--photoshop_password 123456
其中，123456应替换为用户在Photoshop中设置的远程连接密码。BASNET_SERVICE_HOST是可选的，仅在使用如Knative/Cloud Run等平台部署服务时需要。
3.2 在移动设备上运行应用
用户需要在移动设备上安装Expo应用，然后通过扫描二维码或输入URL来打开AR Cut & Paste应用。
3.3 捕捉和剪切对象
- 使用移动应用的摄像头对准想要剪切的对象
- 应用会自动检测对象并去除背景
- 用户确认后，对象将被发送到本地服务器
3.4 将对象粘贴到Photoshop
- 本地服务器接收对象数据
- 使用screenpoint技术确定在屏幕上的位置
- 将对象粘贴到Photoshop中的指定位置
4. 故障排除与优化
4.1 常见问题解决
- 如果粘贴的是空白图层，请检查Photoshop文档设置是否与server/src/ps.py中的设置匹配
- 如果连接问题，请确保移动应用中配置的IP地址正确，且本地服务器正在运行
- 如果对象检测效果不佳，尝试改善照明条件或选择更清晰的对象
4.2 性能优化
- 对于本地部署的BASNet服务，确保使用CUDA GPU以获得最佳性能
- 保持移动设备和计算机在同一网络中，以减少延迟
总结
AR Cut & Paste为用户提供了一种创新的方式，将现实世界中的对象无缝集成到数字创作中。通过遵循上述用户旅程地图，用户可以顺利完成从设置到实际使用的整个过程。尽管这是一个研究原型，而非面向消费者的工具，但它展示了AR和ML技术在创意工作流程中的巨大潜力。
随着技术的不断发展，我们期待看到更多类似的创新应用，为创意工作者带来更高效、更直观的工具。如果您对该项目感兴趣，可以关注官方仓库获取最新更新。
致谢
AR Cut & Paste的开发离不开以下项目和个人的贡献：
- BASNet代码：Xuebin Qin等人的研究成果
- RunwayML：提供了Photoshop粘贴代码
- CoreWeave：在Tesla V100上托管公共U^2Net模型端点
我们对所有为这个项目做出贡献的个人和组织表示衷心的感谢。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
