Python示例代码之爬取网页中的表格

最新推荐文章于 2024-08-18 22:49:52 发布

原创最新推荐文章于 2024-08-18 22:49:52 发布 · 1w 阅读

27 ·

CC 4.0 BY-SA版权

Python集中营专栏收录该内容

43 篇文章

订阅专栏

本文介绍了一个Python爬虫项目的实现过程，利用requests和pyquery库从指定网站抓取中国高校排名数据，并将数据保存为CSV文件。代码详细展示了如何发起HTTP请求、解析HTML、提取所需信息及文件写入操作。

直接上代码吧，代码是最好的注释。

# Author Zhanhai

import requests

from pyquery import PyQuery as pq

def get_page(url):
    """发起请求 获得源码"""
    r = requests.get(url)
    r.encoding = 'utf8'
    html = r.text
    return html

def parse(text):
    doc = pq(text)
    # 获得每一行的tr标签
    tds = doc('table.table tbody tr.alt').items()
    with open('collegelist.csv', 'a+', encoding='utf8') as f:
        for td in tds:
            rank = td.find('td:first-child').text()
            name = td.find('div').text()
            city = td.find('td:nth-child(3)').text()
            score = td.find('td:nth-child(4)').text()
            f.write(rank + ',')
            f.write(name + ',')
            f.write(city + ',')
            f.write(score + ',\n')
    print("complete!")

if __name__ == "__main__":
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    text = get_page(url)
    parse(text)