为什么不要轻易使用 Chrome 复制的 XPath？

有一些同学在写爬虫的时候，喜欢在Chrome 开发者工具里面直接复制 XPath，如下图所示：

他们觉得这样复制出来的 XPath 虽然长了点，但是工作一切正常，所以频繁使用。

但我希望大家不要过于依赖这个功能。因为它给出的结果仅作参考，有时候并不能让你提取出数据。我们来看一个例子。

这是一个非常简单的HTML 页面，页面中有一个表格，表格有一列叫做电话。我现在想把这里面的5个电话提取出来。如果直接使用 Chrome 的复制 XPath 的功能，我们可以得到下面这个 XPath：

/html/body/div/table/tbody/tr[3]/td[4]

这实际上对应了刘小三这一行的电话字段。那么，我们去掉tr后面的数字，似乎就能覆盖到所有行了：

/html/body/div/table/tbody/tr/td[4]/text()

在 XPath Helper 上面运行看看效果，确实提取出了所有的电话号码，如下图所示：

但如果你使用 requests 来爬这个网页，然后使用 XPath 提取电话号码，你就会发现什么都提取不到，如下图所示：

你