30、深度网络与搜索引擎的偏见与中立性

深度网络与搜索引擎的偏见与中立性

1. 深度网络的构成与特性

深度网络（也称为隐形网络）涵盖了所有可在网络上获取，但普通搜索引擎无法覆盖的内容。其主要包括以下几个部分：
- 不透明网络 ：受数据库更新、搜索结果显示数量限制（搜索引擎通常最多显示 1000 条结果）以及断开页面等因素影响。
- 私有网络 ：作者通过密码查询或在 Robots.txt 文件中设置排除命令等方式，故意不让搜索引擎索引的页面。
- 专有网络 ：需同意特定使用条款才能使用的内容，可能涉及个人数据注册、付费内容以及需事先签订合同的内容。社交媒体服务的大部分内容也属于专有网络，需先登录才能访问。
- 真正的隐形网络 ：由于技术原因，搜索引擎无法索引的页面或网站。其边界不明确，因为搜索引擎的技术能力在不断变化，今天隐形的内容明天可能通过新方法变得可见。

一些先进的搜索引擎技术可以缩小甚至消除不透明网络和真正的隐形网络的范围，但私有网络和专有网络的内容可能永远不会被普通搜索引擎收录，不过部分内容已可通过专业或混合搜索引擎访问。

2. 社交媒体作为深度网络内容

许多社交媒体内容属于专有隐形网络，普通搜索引擎无法访问。社交媒体是基于社交互动和 Web 2.0 技术的互联网媒体服务统称，侧重于用户生成内容的交流。虽然社交媒体服务用户众多，但很少成为搜索的焦点，最多只是对搜索引擎的补充。

从搜索引擎优化的角度来看，社交媒体服务可分为两类：
- 数据库完全可搜索的服