一步一步教你网站采集规则

最新推荐文章于 2024-04-08 19:54:36 发布

zxciop110

最新推荐文章于 2024-04-08 19:54:36 发布

阅读量8.9k

点赞数

分类专栏：采集文章标签： html 正则表达式 class 文档测试 url

采集专栏收录该内容

4 篇文章

订阅专栏

第一步、确定采集的网站（我们以DEDE的官方站做为采集站做示范）

http://www.dedecms.com/plus/list.php?tid=10

复制代码

第二步、确定被采集站的编码。打开被采集的网页之后，查看源代码（IE：查看 - > 源代码）

在<head> </head>之间找到 charset 这个，后面就显示网页的编码了，截图的是 “gb2312”

第三步、采集列表获取规则写法

来源网址写法很明显pageno是表示分页页码那么有多页列表的采集就要用“[var:分页]”来替换分页页码，截图如下
[url=http://www.dedecms.com/plus/list.php?tid=10&pageno=[var]http://www.dedecms.com/plus/list.php?tid=10&pageno=[var[/url]:分页]

文章网址需包含网址不能包含这两个一般不用写，用于采集列表范围有很多不需要的连接才用到他来做过滤使用。

上面的网址并没有带有至于 http://www.dedecms.com 为什么要在前面加上，这个就不要我说了吧。

如果只有一个列表页，那么在来源网址就直接写上网址就OK了。

注意这里，最关键就是这里。

下面就是“采集获取文章列表的规则写法”，
就是上面打开的被采集页面的源代码文件，找到文章列表之前和本页面没有其他相同的代码
在DedeCms官方站的列表页文章列表之前和之后最近的且没有相同的是“ class="newslist">”和“ class="pages">”，分别写入“起始HTML”和“结束HTML”，写法看截图

第四步、采集文章标题，文章内容，文章作者，文章来源等规则写法，分页采集等。
“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”

下面讲的是如何采集分页内容看截图圈着的地方截图

文档是否分页里面选择“全部列出的分页列表”

“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”

这里本来还有一张截图的,由于论坛配置,他现在显示在最上面.

在文章内容那里点上“分页内容字段”，不选择就不能采集。

“下载字段里的多媒体资源 ”这个是采集的时候把多媒体资源（视频，软件，图片等）下载到本地，也就是你的网站。

下面是过滤规则

过滤规则需要用 “正则表达式”来写，但是对于新手来说，这个简直是比登天还要难，我也不懂。:)
完成上面操作了。保存
点"测试"
QQ截图未命名.jpg