Spider with R

最新推荐文章于 2025-08-15 09:35:14 发布

转载最新推荐文章于 2025-08-15 09:35:14 发布 · 107 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/mixes/p/3725297.html

文章标签：

#爬虫 #数据库 #数据结构与算法

简单爬虫R实现

1、广度优先搜索策略

网页的结构通常是一个页面包含正文和多个链接，这些链接大部分是域内链接，但也含有域外链接。通过对这些链接进行遍历，一层一层地搜索就可以搜索到所有页面。

如图，网页结构已经很好的显示了一种图的层次结构。在这种图的结构中，简单地实现遍历，我们就可以采用两种遍历方式，广度优先和宽度优先搜索。形象的说，广度优先就是一层一层的搜索，先搜索父节点，然后搜索父节点的所有子节点，再搜索后面的。宽度优先呢，就是一条路走到底，然后再回过去继续。

很明显，广度优先就是利用队列的思想，宽度优先就是利用栈的思想了。这里谈谈，怎么利用广度优先思想搜索页面。

如图显示了页面进入队列的情况，每次搜索一个页面后，就提取页面所有的链接。将这些页面加入到队尾。搜索网页时，就从队首出去一个页面的url。

但仅仅这样是不够的，网页并非是树形结构，而是一个加权有向图。因此，就存在如下的一些问题：

◎环路问题

◎权重衡量的问题

针对环路问题，比较容易解决，就是利用一张hash表记住已经访问过的页面。但是这张hash表却会随着访问的增长越变越大，大到hash表已经几乎失去hash的优势了。

对于权重衡量的问题解决就很复杂了，这里从两个方面提供策略。

1、链接的内容，从链接的内容着手可以很方便的解决权重问题。一是通过锚文本的内容相关性解决，如果访问的是一个java开发的网站，而锚文本却是一个心理学的内容，一般情况是没多大关系的。二是通过链接内容来分辨，链接的英文字符应该跟本站主题有一定程度的相似性，但链接文本不太好分辨，很多网站的域名或是目录、文件名都没多大规则。三是可以忽略掉一些链接，如图片的链接，很多广告都是这类链接。

2、链接-页面之间的相关性。看看Google的pagerank算法，这里不作过多的介绍。网站的页面被分为两种，中枢和权威。中枢是一个枢纽，会指向很多的权威页面。而权威则是由多个中枢指定的页面。

2、准备工作

好了，回到正题，这里主要讲一下通过R语言实现网络爬虫。不过这里实现的爬虫不是像Google这样的广义的爬虫，而是基于某一个主题的爬取。这里是心理学方面的。针对不同的爬取需要，可对爬虫策略进行相应的变换。从应用的角度我们可以大致的将爬虫划分为如下几个模块，如图：

模块分析

1、数据库模块配置

Windows下配置DNS的数据源，配置过程略。

数据库及表的创建（本例中）

mysql> create table pagetext(

-> href varchar(30) primary key,

-> text text

-> );

2、主题词获取

下载主题词库，然后从外部导入

文本相关度求法à对文本进行分词之后，与主题词进行匹配，看看存在多少个主题相关的词汇，大于k值则表示与主题相关。

3、代码

library(XML)
library(RODBC)
library(hash)
library(rJava)
library(Rwordseg)

 
########################################
# 模块一，建立主题词库，以数据框的形式保存
########################################

data=read.table("F:/psychDict.txt", header=T)
#包含主题词的个数
dataLen=length(data[,1])

countFun=function(vector)
{
count=0;
#此处需要优化，在R里面时间也太长了吧

for(i in 1:length(vector))

{
           for(j in 1:dataLen)
         {
                    if(vector[i]==data[1,])
                    {
                             count = count+1
                             break
                    }
           }

}
return(count)
}

 
########################################
# 模块二、爬虫流程模块
########################################
minCorCount=10       #主题词汇最少个数
#建立一个hash表，保存已经访问过的url
closedH=hash() 

#将初始链接加入队列，我们用一个向量来模拟队列
urlQueue=c("http://www.baidu.com/")
 
for(time in 1:100)
{
#取出队头，下载页面
page=htmlParse(urlQueue[1]) 

#提取正文
text=xmlValue(xmlRoot(page))
#去掉非中文字符
text=gsub("[^\u4e00-\u9fa5]","",text)

#检测正文内容是否相关
textV=segmentCN(text)
textCor=countFun(textV)

#如果相关，则将其加入数据库
if(textCor>=minCorCount)
{
           sqlAddpage(urlQueue[1],text)
}

#获取所有链接
links=getNodeSet(page,"//a")
#遍历每个链接节点
for(i in 1:length(links))
{
           #提取链接href
           href=xmlGetAttr(links[[i]],"href")
           #提取锚文本
           linkText=xmlValue(links[[i]])

           #如果锚文本主题相关，则将其加入队列
           linkV=segmentCN(linkText)
           corCount=countFun(linkV)

           if(corCount>0)
           {
                    #如果这个链接不在close表里面
                    if(closedH[[href]]==NULL)
                    {
                             #加入到队列
                             urlQueue=c(urlQueue,href)
                    }
           }

           #如果不相关，则将其加入hash表中
           else
           {
           .set(closedH,keys=href,values=linkText)
           }

}

#将遍历过的URL加入close表并且从队列里面删除
.set(closedH,keys=href,values=linkText)
urlQueue=urlQueue[-1]
}

 
########################################
# 模块三、数据库访问模块
########################################
#将正文加入数据库
sqlAddPage=function(href,text)
{
channel=odbcConnect("mysqldata",uid="root",pwd="chenzhi2014")
sql=paste("insert into pagetext values('",href,"','",text,"')")
#建议数据保存使用这种简单的方式
sqlQuery(channel,sql)
close(channel)
}