25、循环神经网络与网络分析：从字符级RNN到网络中心性度量

循环神经网络与网络分析：从字符级RNN到网络中心性度量

1. 简单RNN的局限性

简单RNN在实际应用中存在诸多问题，不太适合实际使用。它存在两个明显的缺点：
- 每次调用时，整个隐藏状态都会用于更新输入。
- 每次调用时，整个隐藏状态都会被覆盖。

这两个问题使得模型难以训练，尤其是难以学习长距离依赖关系。因此，在实际应用中，人们通常会使用更复杂的变体，如LSTM（长短期记忆网络）或GRU（门控循环单元）。这些变体具有更多的参数，并使用参数化的“门”，允许在每个时间步仅更新部分状态并仅使用部分状态。虽然这些变体的代码实现较为复杂，但GitHub上有相关的LSTM实现代码可供参考。

2. 字符级RNN的应用：公司名称生成

新上任的品牌副总裁认为更好的公司名称可能会带来更多的成功，因此要求使用数据科学方法来提供替代名称的建议。字符级RNN可以用于学习数据集中的微妙语言模式，并生成虚构的实例。以下是具体的操作步骤：
1. 数据获取 ：从Y Combinator的网站上获取其前100（实际为101）家最成功的初创公司的名称。

from bs4 import BeautifulSoup
import requests
url = "https://www.ycombinator.com/topcompanies/"
soup = BeautifulSoup(requests.get(url).text, 'html5lib')
# 去除重复项
companies = list({b.text for b in soup