网络爬虫，python和数据分析学习--part1

最新推荐文章于 2025-03-01 23:45:01 发布

转载最新推荐文章于 2025-03-01 23:45:01 发布 · 554 阅读

文章标签：

#网络爬虫

大数据专栏收录该内容

20 篇文章

订阅专栏

本文介绍了一个简单的网页抓取程序，该程序使用Python语言，并利用urllib.request和BeautifulSoup库来抓取指定网页的内容。通过实例演示了如何设置URL、读取网页、解析HTML并获取特定标签的内容。

# -- coding: utf-8 --
“””
Created on Tue Oct 10 08:38:20 2017
本段程序为科大王澎老师《网络爬虫，python和数据分析》中P8，针对spyder3做了微调
主要任务：简单的网页抓取
@author:
“””
import re
import urllib.request#urllib2用在python2.7中，在python3中用urllib.request替代之
import pymysql #需要在anaconda3下安装pymysql
from bs4 import BeautifulSoup#注意这里是from bs4
#设置url
url=’http://bbs.ustc.edu.cn/cgi/bbstdoc?board=PieBridge&start=3558’
#打开url
fp=urllib.request.urlopen(url)
#读取结果
s=fp.read()
#用BeautifulSoup分析读取结果s
soup=BeautifulSoup(s)
#找到所有tag的内容
polist=soup.findAll(‘span’)
#显示第一个tag中间的内容
print (polist[0].contents[0])