常见网页内容分析方法探究（草稿）

网页主要由网页DOM结构、网页内容文本、网页引用资源三部分构成，通过分析这三部分，来发现相同网页或相似网页。

（1）网页DOM结构：标签种类、标签数量；

（2）网页内容文本：网页元数据、标题、长文本、短文本、主题词、前50个词频；

（3）网页引用资源：外连样式、外连脚本、图片、文档。

主要研究的对象包含，分析方法包括数据提取、内容比对、数据存储、数据检索，具体提问为：

1、以上三部分具体🈶️哪些模块构成，针对这三部分，如何提取网页中各个对象数据？

2、对于提取的数据，该如何存储，而且适合快速分析，特别是大规模存储，该使用什么方法？

3、分析的方法具体有哪些，哪种性能更好，大规模使用更合适？

4、界面该展示哪些数据，具体又该如何展示？

5、主要分析的流程和步骤有哪些？是否能抽离为通用的对象？

 

基于网页颜色的相似度对比，提取网页的内嵌样式中的颜色词，特别是body、div标签中的样式名称，找到其所对应的css，提取颜色标签，根据body中div区块计算其所在的比例。例如body：100%，div1: 20%、div2: 60%、div3:20%等