爬取虎扑NBA球员常规赛各项数据存储至MongoDB

binarywz

于 2017-05-04 11:46:44 发布

阅读量2.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 爬虫数据库文章标签： mongodb 数据存储正则表达式数据

本文链接：https://blog.youkuaiyun.com/Qaz_wz/article/details/71159783

本文讲述了作者利用requests库和正则表达式爬取虎扑网站上的NBA球员常规赛数据，并将数据存储到MongoDB的过程。内容包括确定爬取的数据项、解析页面结构、遍历多页数据以及代码实现和运行结果的展示。作者期待与读者交流学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

平时喜欢看球赛，十几年的詹密，五一放假（表示五一十天假期）在家闲着没事爬爬本赛季NBA球员常规赛数据。虎扑还是比较友好，页面比较简单，使用requests库和正则表达式就可以完成爬取了，哈哈。

首先看看要爬取哪些数据

这里写图片描述

找到数据在哪些标签里面

这里写图片描述

查看一共收录了几页的球员数据

这里写图片描述

代码

#spider程序
import re
import requests
from requests.exceptions import RequestException
from config import *
import pymongo

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

#获取页面上html代码

最低0.47元/天解锁文章

200万优质内容无限畅学