使用python写爬虫（一）

LuckyMon

于 2021-01-20 15:44:09 发布

阅读量160

点赞数

分类专栏： python 文章标签： Python 爬虫 requests BeautifulSoup HTML解析

本文链接：https://blog.youkuaiyun.com/LuckyMon/article/details/112882613

版权

python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了如何使用Python的requests库获取网页HTML内容，并通过BeautifulSoup库进行解析，提取出网页中的a标签相关数据，包括id、title和href。示例代码展示了基础的网页抓取流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用python写爬虫

 # coding: UTF-8
import requests
from bs4 import   BeautifulSoup
url="https://poi.mapbar.com"
strhtml=requests.get(url)
strhtml.encoding="utf-8"
# print(strhtml.text)
soup=BeautifulSoup(strhtml.text,'lxml')
data = soup.select('a')
print(data)
results = []
for item in data:
    result = {
        'id': item.get('id'),
        'title':item.get_text(),
        'link': item.get('href')
    }
    results.append(result['title'])
    if result['id'] == None:
        print(result)
print(results)