深度学习15-讨论通用的Web导航和浏览器自动化的实际应用。

原创

已于 2023-01-14 14:20:49 修改 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #docker #linux

于 2023-01-08 19:15:00 首次发布

本文探讨了深度学习如何应用于通用Web导航和浏览器自动化，通过强化学习（RL）解决Web导航问题。文章提及OpenAI的Mini World of Bits (MiniWoB)作为RL基准，并详细介绍了MiniWoB的环境参数，如remotes和fps。同时，解释了在Docker中运行MiniWoB的相关参数，包括-d、-p、--privileged等选项的作用。此外，还提出了几个进一步的研究方向，如噪声单击测试、使用OCR网络提取文本信息以及尝试其他环境等。

### Web导航

▪ 讨论通用的Web导航和浏览器自动化的实际应用。
▪ 探索如何通过RL方法解决Web导航问题。
▪ 深入研究由OpenAI实现的一个非常有趣但常被忽略且被抛弃的RL基准，称为比特迷你世界（Mini World of Bits，MiniWoB）。

RL浏览器自动化的潜在实际应用很有吸引力，但有一个非常严重的缺点：这类任务复杂度太高，无法用于研究和方法比较。实际上，实现完整的网页抓取系统可能需要团队花费数月的时间，并且大多数问题不会与RL直接相关，例如数据收集、浏览器引擎通信、输入和输出表示以及很多真实生产系统开发涉及的其他问题。

最重要的参数如下：
▪ remotes：可以是数字或字符串。如果将其指定为数字，则它将给出环境需要启动的本地容器的数量。如果是字符串，此参数可以以vnc://host1:port1+port2, host2:port1+port2的形式指定环境需要连接的已运行容器的URL。第一个端口是VNC协议端口（默认为5900）。第二个端口是奖励器守护进程的端口（默认为15900）。可以在Docker容器启动时重新指定这两个端口。
▪ fps：用于提供智能体观察的预期每秒帧数（FPS）。
▪ vnc_kwargs：该参数必须是一个字典，带有额外的VNC协议参数，用于定义压缩级别和要传输给智能体的图像的质量。这些参数对于性能来说非常重要，尤其是对于在云中运行的容器而言。

**docker参数的含义如下：**
1）-d在分离模式下启动容器。为了能够查看容器的日志，可以将此选项替换为-t。在这种情况下，容器将以交互方式启动，并可以按Ctrl + C停止。
2）-p SRC_PORT:TGT_PORT将源端口从容器的主机转发到容器内的目标端口。此选项使你可以在一台计算机上启动多个MiniWoB容器。每个容器都会在5900端口上启动VNC服务器，并在15900端口上启动奖励器守护进程。参数-p 5900:5900使VNC服务器在主机（运行容器的计算机）的5900端口上启动。对于第二个容器，你应该传递-p 5901:5900，这使其在590