0044-python爬虫学习第三天：人口排名初试及问题

九九九九为功

于 2022-08-28 00:20:56 发布

阅读量264

点赞数

分类专栏：学习笔记文章标签： python 爬虫学习

本文链接：https://blog.youkuaiyun.com/m0_68750710/article/details/126564230

版权

本文介绍了作者在Python爬虫学习过程中的第三天经历，主要涉及独立标签的数据采集。在实践中，作者遇到tds类型为ResultSet导致的字典外层存在列表的问题，提出了如何解决核心代码中提取字符串报错的思考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、独立标签采集

二、问题思考

一、独立标签采集

import requests
from bs4 import BeautifulSoup
import re
import bs4
kv = {'User-Agent': 'Mozilla/5.0'}
def getHTMLText(url):
    try:
        r = requests.get(url, headers=kv, timeout=30)
        r.raise_for_status()  # 不是200就报错
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def fillList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('p')
            print(tds)
def main():
    uinfo = []
    url = "https://www.phb123.com/city/renkou/rk.html"
    html = getHTMLText(url)
    fillList(uinfo, html)
main()

输出：