1)⑥爬取腾讯经济相关的部分新闻

最新推荐文章于 2024-10-05 14:33:42 发布

weixin_34203426

最新推荐文章于 2024-10-05 14:33:42 发布

阅读量76

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/minmsy/p/4962749.html

本文介绍了一个基于Python的简单网页爬虫程序，用于从腾讯财经网站抓取新闻链接及文章内容。通过解析HTML标签获取所需信息，并利用正则表达式筛选特定URL，最后将爬取的内容保存至本地文件。

 1 __author__ = 'minmin'
 2 #coding:utf-8
 3 import re,urllib,sgmllib
 4 
 5 #根据当前的主页url获取html
 6 def getHtml(url):
 7     page = urllib.urlopen(url)
 8     html = page.read()
 9     page.close()
10     return html
11 
12 
13 #html链接的标签是“a”，链接的属性是“href”，也就是要获得html中所有tag=a，attrs=href 值。
14 class URLPaser(sgmllib.SGMLParser):
15     def reset(self):
16         sgmllib.SGMLParser.reset(self)
17         self.urls = []
18 
19     def start_a(self,attrs):
20         href = [v for k,v in attrs if k == 'href']
21         if href:
22             self.urls.extend(href)
23 
24 #根据html获取想要的文章内容
25 def func(str):
26     #用正则表达式提取自己想要获取的内容
27      result = re.findall(r"<P style=\"TEXT-INDENT: 2em\">([^<>]*)<\/P>",getHtml(url),re.M)
28      artical =''
29      for j in result:
30          if len(j)<>0:
31              j = j.replace("<STRONG>","   ")#去掉<STRONG>,换成"     "
32              j = j.replace("</STRONG>","   ")#去掉</STROGN>换成"     "
33              artical = artical + j + '\n'
34      return  artical
35 
36 
37 IParser = URLPaser()
38 socket = urllib.urlopen("http://finance.qq.com/")#打开主页
39 
40 IParser.feed(socket.read())#开始分析处理
41 
42 reg = 'http://finance.qq.com/a/.*'#用来匹配符合条件的链接，使用正则表达式匹配
43 
44 pattern = re.compile(reg)
45 
46 i = 0
47 url2 = []
48 for url in IParser.urls:#链接都存在urls里
49 
50     if pattern.match(url):#匹配符合条件的链接
51         artical = func(url)#调用函数func
52         if url not in url2:#重复的url不再进行提取文章内容
53              url2.append(url)
54              print url
55              if len(artical)<>0:#如果文章捏弄内容不为空
56                    print artical
57                    i = i + 1
58                    #这个文件地址是文件保存地址，可根据要保存位置自己进行相应的更改
59                    f = open("qq/Economy/"+str(i) + '.txt','a+')#把提取的内容按顺序保存在相应文件夹中
60                    f.write(artical)
61                    f.close()
62 
63 
64 #################################################################################################################
65 #注：本文借鉴http://www.jb51.net/article/52062.htm
66 #并在其基础上改进的 重复的url不再进行爬取，并把提取的内容写到指定的文件夹中
67 #################################################################################################################