DataWhale-task2:爬取中国大学排名&丁香论坛评论

最新推荐文章于 2024-01-23 23:30:40 发布

原创最新推荐文章于 2024-01-23 23:30:40 发布 · 325 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了如何使用Python的requests库和BeautifulSoup库来爬取中国大学排名信息，并利用lxml和XPath从丁香园论坛抓取用户回复内容。文章展示了完整的代码实现过程，包括网页内容获取、数据解析和结果展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

任务2

事实上这两个项目的实现代码我都没搞清楚，可能涉及到的BeautifulSoup和Xpath我都没搞明白吧，然后这次的网页中爬取内容的定位我也发现有些找不到，T_T。
代码都不是我敲的哦，都是Datawhale分享的资料，特此说明啊~

爬取中国大学排名

'''
爬取url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
爬取思路：
1.从网络上获取大学排名网页内容
2.提取网页内容中信息到合适的数据结构（二维数组）-排名，学校名称，总分
3.利用数据结构展示并输出结果
'''

#导入库
import requests
from bs4 import BeautifulSoup
import bs4

#1.从网络上获取大学排名网页内容
def GetHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding  #？
        return r.text
    except:
        return ""
    
 
#2.提取网页内容中信息到合适的数据结构（二维数组）
#1.查看网页源代码，观察并定位到需要爬取内容的标签
#2.使用bs4的查找方法提取所需信息-‘排名，学校名称，总分’

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children: #？
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            #根据实际提取需要的内容
            ulist.append([tds[0].string,
                           tds[1].string,tds[3].string])
    

#3.利用数据结构展示并输出结果

def printUnivList(ulist,num = 20):
    tplt = '{0:^10}\t{1:{3}^10}\t{2:^10}' #？
    print(tplt.format('排名','学校名称','总分',chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

#存储爬取结果的容器
u_info = []
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'

html = GetHTMLText(url) #调用GetHTMLText函数，爬取网页
html

fillUnivList(u_info,html)#爬取

printUnivList(u_info,num = 10) #打印输出30个信息

丁香园论坛

这个帖子好早啊2003年的，因为我不会看定位，不会改参数，所以换了个帖子，没有爬到任何评论T_T。
在这里插入图片描述

'''
2.2.4 实战：爬取丁香园-用户名和回复内容

爬取思路：
1.获取url的html
2.lxml解析html
3.利用Xpath表达式获取user和content
4.保存爬取的内容
'''

from lxml import etree
import requests
url = 'http://www.dxy.cn/bbs/thread/626626#626626'
#url = 'https://www.dxy.cn/bbs/newweb/pc/post/43189415' #尝试失败

#获取url的html
req = requests.get(url)
html = req.text

#lxml解析html
tree = etree.HTML(html)
tree

#利用Xpath表达式获取use和content（重点）

user = tree.xpath('//div[@class="auth"]/a/text()')
content = tree.xpath('//td[@class = "postbody"]')


#保存爬取的内容
results = []
for i in range(0,len(user)):
    results.append(user[i].strip() + ":" 
                   +content[i].xpath('string(.)').strip())
    
#打印爬取结果
for i,result in zip(range(0,len(user)),results):
    print("user"+str(i+1)+"—"+result)
    print('*'*100)