词语相似度计算：3、使用urllib爬取wiki文章，使用beautifulSoup解析html

本文链接：https://blog.youkuaiyun.com/mmc2015/article/details/50943043

本文介绍了一种使用Python爬取维基百科词条的方法。通过urllib2和BeautifulSoup库，实现了自动请求指定词条页面并解析提取前三段落文本的功能。此爬虫适用于批量抓取词条简介。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

详细介绍参考：

http://blog.youkuaiyun.com/mmc2015/article/details/50923309

完整代码供大家参考。。。。

[python]view plain copy 
   
 
 #!usr/bin/env  
 # -*-coding:utf-8 -*-  
   
   
   
 import pandas as pd  
 import numpy as np  
   
 import urllib, urllib2  
 import re  
 from bs4 import BeautifulSoup  
   
   
 import sys  
 reload(sys)  
 sys.setdefaultencoding("utf8")  
 #for UnicodeEncodeError  
   
   
   
 def SaveFile(content, filename):  
     f=open("wikiData/"+filename,"a")  
     f.write(str(content)+"\n")  
     f.close()  
   
   
 def SpideWiki(words):  
     user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
     headers={'User-Agent':user_agent}  
     try:  
         for i in range(len(words)):  
             url="https://en.wikipedia.org/wiki/"+words[i]  
             request=urllib2.Request(url, headers=headers)  
             response=urllib2.urlopen(request)  
             wikiHtml=response.read().decode('utf-8')  
             html=BeautifulSoup(str(wikiHtml),"lxml")  
             div=html.find(name='div', id='mw-content-text')  
             ps=div.find_all(name='p', limit=3, recursive=False) #only direct children  
             for p in ps:  
                 pText=p.get_text()  
                 SaveFile(pText, words[i])  
             print words[i], "process over...", "=="*20  
     except urllib2.URLError, e:  
         if hasattr(e,"code"):  
             print e.code  
         if hasattr(e,"reason"):  
             print e.reason  