数据爬取与可视化技术——使用urllib库爬取网页获取数据

本文链接：https://blog.youkuaiyun.com/weixin_52784450/article/details/136677030

本文介绍了如何使用Python的urllib库爬取新浪股票吧的数据，通过示例展示了如何构造URL、处理编码、保存网页内容，并指出了可能遇到的问题和优化点，包括编码选择、异常处理和性能提升等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

xcx：什么是爬虫呀？

shy：如果说网络像一张网，那么爬虫就是网上的一只小虫子，在网上爬行的过程中遇到了数据，就把它抓取下来。

shy：网络爬虫是一种按照一定的规则，自动请求万维网网站并提取网络数据的程序或脚本。注意：这里的数据是指互联网上公开的并且可以访问到的网页信息，而不是网站的后台信息（没有访问权限的），更不是用户注册的信息（非公开的）。

hwjw：爬虫具体能做些什么呢？

shy：搜索引擎、爬取图片、爬取用户公开联系方式进行营销、爬取网站用户公开信息进行分析、收集金融信息做投资分析、自动去除网页广告……

syf：什么是urllib库？

shy：urllib是Python内置的HTTP请求库，他可以看作是处理URL的组件集合。下面这篇文章就是使用urllib库爬取网页获取数据。

文章目录

问题描述：

爬取新浪股票吧的数据，其URL格式为https://guba.sina.com.cn/?s=bar&name=sh000300&type=0&page=3。分析其URL格式，并注意查看response的编码。要求股票代码由用户输入，同时输入起始页和结束页，把爬取到的网页保存成html文件。

Code：

import urllib.parse
import urllib.request
# from requests import get, post
import time
#enconding = 'utf-8'

def load_page(url, filename):
  headers = {
   
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
  }
  request = urllib.request.Request(url, headers=headers)
  response = urllib.request.urlopen(request)
  return response.read().decode('gbk')

def write_page(html, filename):
  print("正在保存", filename)
  with open(filename, 'w', encoding='gbk') as file:
      file.write