python建单抓取网页方法（python小白学习笔记一）

最新推荐文章于 2024-04-23 11:14:21 发布

原创

最新推荐文章于 2024-04-23 11:14:21 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #网页爬虫

这篇博客介绍了Python3中四种不同的网页抓取方法，包括自动打开网页、保存网页到本地、使用urllib.request.urlretrieve以及Page库。还探讨了from urllib import request和import urllib.request的区别以及编码解码的相关知识。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本代码使用的是python3.x

方法一：通过运行python，自动打开网页，并抓取该网页。

前提：先安装驱动，然后运行即可。详情请查看上一篇文章

import os
from selenium import webdriver

browser = webdriver.Chrome()#打开网页
browser.get("https://einvoice.taobao.com/index?&_emt=1541043729512#/online/invoice/success")
print(browser.page_source) #打印获取的内容

结果：自动弹出浏览器，并输出：

方法二：抓取到网页，保存到本地文件

先抓取文件，然后通过保存网页到本地，同时可以查看文件字节大小

import urllib.request   #导入对应的模块
#首先爬取一个网页，并抓取到内容赋值给一个变量
file=urllib.request.urlopen("https://login.taobao.com/member/login.jhtml?f=top&sub=true&redirectURL=http%3A%2F%2Feinvoice.taobao.com%2Findex%3F%26_emt%3D1541043729512")
data=file.read()
print(data)
#以写入方式打开一个本地文件，命名为 *.html等网页格式
fhandle=open('D:/爬虫/抓取文件/2018110201.html','wb')
#将1仲变量值写入该文件
fha