RDF知识图谱与网络爬虫实践解析

1、判断以下陈述是对还是错。如果错误，请简要说明原因，并通过添加、删除或修改元素来纠正陈述。(a) RDF扩展了Web的链接结构，使用URI来命名事物之间的关系以及链接的两端（主语和宾语）。(b) 在Turtle（RDF的文本语法）中，不允许使用无类型（普通）文字。(c) RDF只能用于表示可以直接从Web上检索到的事物的信息。(d) 资源可以用空白节点表示。(e) 某些资源的版权或许可信息不能用RDF表示。(f) XML RDF语法可以描述一些Turtle RDF语法无法描述的资源。

(a) 正确。

(b) 错误。
原因 ：Turtle允许使用无类型（普通）文字。
纠正 ：在Turtle（RDF的文本语法）中允许使用无类型（普通）文字。

(c) 错误。
原因 ：RDF不仅能表示可直接从Web上检索的事物信息。
纠正 ：RDF可用于表示各种事物的信息，不限于能直接从Web上检索到的事物。

(d) 正确。

(e) 错误。
原因 ：RDF可以表示资源的版权或许可信息。
纠正 ：某些资源的版权或许可信息可以用RDF表示。

(f) 错误。
原因 ：XML RDF语法和Turtle RDF语法在表达能力上是等价的。
纠正 ：XML RDF语法和Turtle RDF语法能描述的资源范围相同。

2、请利用网络爬虫从互联网电影数据库（IMDb，网址为https://www.imdb.com/）收集网页并提取数据。网络爬虫是一种程序或机器人，它会系统地浏览网页，通常用于网页索引（网页蜘蛛抓取）。它从一个待访问的种子URL列表开始，当访问每个网页时，它会找到该网页中的链接，然后访问这些链接并重复整个过程。建议使用Python库中的Scrapy（https://scrapy.org）进行操作。请先下载（并测试）Scrapy，然后进行一个简短的教程学习，以确保熟悉基础知识，再完成从IMDb收集网页并提取数据的任务。

在后续操作里，需运用网络爬虫从互联网电影数据库（IMDb，网址 https://www.imdb.com/ ）收集网页并提取数据。

网络爬虫是用于网页索引（网页蜘蛛抓取）、系统浏览网页的程序或机器人，从种子 URL 列表开始，访问网页时查找其中链接并重复访问过程。

建议使用 Python 库中的 Scrapy 。

步骤如下：

1. 首先下载并测试 Scrapy。
2. 通过简短教程熟悉其基础知识。
3. 之后完成从 IMDb 收集网页并提取数据的任务。

3、与上一个任务类似，使用Scrapy爬取IMDb上至少5000个演员（即男演员和女演员）的网页。为每个演员网页提取并生成右面板中的属性。将爬取的数据存储到JSON-Lines文件中。

该任务要求使用Scrapy库在IMDb网站上爬取至少5000个演员相关网页，提取每个网页右面板展示的属性信息，并将这些信息以JSON-Lines文件格式存储，即文件中每行是一个有效的JSON对象（字典），包含单个爬取网页的相关属性。同时，爬取时需遵守网站的礼貌规则，避免被封禁。

4、自举法（Bootstrapping）是信息提取（IE）的一种 _ _技术的示例。

自监督学习

5、 _提取器成本 _，但通常会导致语义漂移。

自动；低

6、半监督提取器需要______数量的训练数据。

少量

7、我们将尝试使用标准的命名实体识别（NER）包（如NLTK和SpaCy）对推文进行提取。可以使用其中一个或两个（甚至是其他带有预训练版本的知名包），但在本题以及接下来的几个问题中需保持使用的一致性，假设在这些练习中使用NLTK。一个用于测试单个文本的交互式演示版本可在https://text - processing.com/demo/获取，但要完成所有练习，需要设置NLTK的本地版本。作为第一步，访问twitter.com，将五条推文（一次一条）复制粘贴到演示中的“标记和分块文本”门户，尽量使推文选择具有多样性。

本题要求使用标准NER包（如NLTK和SpaCy）对推文进行提取，假设使用NLTK。可在 https://text-processing.com/demo/ 进行单个文本测试，完成所有练习需设置NLTK本地版本。

第一步是访问 twitter.com ，将五条不同的推文逐次复制粘贴到演示的“标记和分块文本”门户。

8、在本次练习中，我们将使用一个公开可用的推特数据集。有多个这样的数据集可供使用，包括在像Kaggle这样的竞赛网站上。一个例子是https://www.kaggle.co