php 正文提取算法,基于机器学习的网页正文提取方法

摘  要： 先将网页转换为规范的DOM树，然后计算每行文本的文本密度、与标题相关度等值，并将其作为输入参数利用BP神经网络进行训练，进而形成抽取规则，最后通过实验验证该方法的可行性。

关键词： 信息提取； 神经网络； 统计学习

随着互联网的普及，网络成为人们获取信息的重要途径。而互联网上的信息量也与日俱增，网页上的内容除了主题内容外，通常都会在页面中放置导航条以方便用户访问，还有如广告、版权信息、欢迎信息等与主题无关的内容，我们称之为"噪音"。怎样去除这些噪音，将网页中的正文内容提取出来，从而提高人们的阅读效率，这在垂直搜索和数据挖掘方面具有重要意义。在这个领域已经发表了很多的研究成果，这些研究成果从不同的角度入手，有的只利用网页本身的特征，有的还与其他技术相结合，使网页正文抽取的准确性和完整性得到不断提高，但还没有一种方法能达到人们期望的程度，还需要不断地研究和探索。

1正文抽取相关研究

到目前为止，已经发表的网页正文内容抽取方法有很多种，其分类方式的依据也不尽相同，下面介绍几种较为常用的抽取方法。

(1) 基于模板的方法

这种技术依赖HTML文档的内部结构特征来完成数据抽取，需要使用wrapper(包装器)来抽取网页中的正文内容。包装器可以通过分析网页源代码来手工编写，也可以通过程序自动或半自动的实现。手工编写的方法一般都针对特定的网页模式，其优点是实现简单、准确率高，缺点是对于不同的网页模式或网页结构发生变化时需要重新编写包装器，如果包装器类型很多，包装器的维护代价会很大，但由于该方法的准确性较高，所以在针对特定网站的抽取中应用很广。自动或半自动地生成包装器的方法在一定程度上减轻了维护包装器的工作量，但是需要样本学习，对用户要求较高。

(2) 基于统计的方法

这种方法从页面的不同角度分析它的统计特征，采用统计学的算法抽取正文。例如根据统计的文字数量、链接数量、标签字符数量等计算出文本密度、链接密度等，并通过这些值来判断哪些为正文文本、哪些为噪音内容。参考文献[1]提出一种通过分析页面文本密度进行正文抽取的方法。这种方法实现简单，并且不需要编写包装器，但提取的准确率有限，有时会将与正文无关的版权声明等当作正文内