Python爬虫入门实例：Python7个爬虫小案例

原创 于 2025-03-14 14:01:50 发布
· 1.6k 阅读 · 25 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫 #开发语言 #学习 #Python学习 #爬虫教程 #Python爬虫

包含编程资料、学习路线图、源代码、软件安装包等！【[点击这里]】！

引言

  • 随着互联网的快速发展，数据成为了新时代的石油。Python作为一种高效、易学的编程语言，在数据采集领域有着广泛的应用。本文将详细讲解Python爬虫的原理、常用库以及实战案例，帮助读者掌握爬虫技能。

一、爬虫原理

  • 爬虫，又称网络爬虫，是一种自动获取网页内容的程序。它模拟人类浏览网页的行为，发送HTTP请求，获取网页源代码，再通过解析、提取等技术手段，获取所需数据。
1.HTTP请求与响应过程
  • 爬虫首先向目标网站发送HTTP请求，请求可以包含多种参数，如URL、请求方法（GET或POST）、请求头（Headers）等。
  • 服务器接收到请求后，返回相应的HTTP响应，包括状态码、响应头和响应体（网页内容）。
2.常用爬虫技术
  • 请求库：如requests、aiohttp等，用于发送HTTP请求。
  • 解析库：如BeautifulSoup、lxml、PyQuery等，用于解析网页内容。
  • 存储库：如pandas、SQLite等，用于存储爬取到的数据。
  • 异步库：如asyncio、aiohttp等，用于实现异步爬虫，提高爬取效率。

二、Python爬虫常用库

1.请求库
  • requests：简洁、强大的HTTP库，支持HTTP连接保持和连接池，支持SSL证书验证、Cookies等。
  • aiohttp：基于asyncio的异步HTTP网络库，适用于需要高并发的爬虫场景。
2.解析库
  • BeautifulSoup：一个HTML和XML的解析库，简单易用，支持多种解析器。
  • lxml：一个高效的XML和HTML解析库，支持XPath和CSS选择器。
  • PyQuery：一个Python版的jQuery，语法与jQuery类似，易于上手。
3.存储库
  • pandas：一个强大的数据分析库，提供数据结构和数据分析工具，支持多种文件格式。
  • SQLite：一个轻量级的数据库，支持SQL查询，适用于小型爬虫项目。
接下来将分享7个Python爬虫的小案例，帮助大家更好地学习和了解Python爬虫的基础知识。以下是每个案例的简介和源代码：

1.爬取豆瓣电影Top250

  • 这个案例使用BeautifulSoup库爬取豆瓣电影Top250的电影名称、评分和评价人数等信息，并将这些信息保存到CSV文件中。
import requests
from bs4 import BeautifulSoup
import csv

# 请求URL
url = '<https://movie.douban.com/top250>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    movie_list = soup.find('ol', class_='grid_view').find_all('li')
    for movie in movie_list:
        title = movie.find('div', class_='hd').find('span', class_='title').get_text()
        rating_num = movie.find('div', class_='star').find('span', class_='rating_num').get_text()
        comment_num = movie.find('div', class_='star').find_all('span')[-1].get_text()
        writer.writerow([title, rating_num, comment_num])

# 保存数据函数
def save_data():
    f = open('douban_movie_top250.csv', 'a', newline='', encoding='utf-8-sig')
    global writer
    writer = csv.writer(f)
    writer.writerow(['电影名称', '评分', '评价人数'])
    for i in range(10):
        url = '<https://movie.douban.com/top250?start=>' + str(i*25) + '&filter='
        response = requests.get(url, headers=headers)
        parse_html(response.text)
    f.close()

if __name__ == '__main__':
    save_data()

2.爬取猫眼电影Top100

  • 这个案例使用正则表达式和requests库爬取猫眼电影Top100的电影名称、主演和上映时间等信息，并将这些信息保存到TXT文件中。
import requests
import re

# 请求URL
url = '<https://maoyan.com/board/4>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
pattern = re.compile('<p class="name"><a href=".*?" title="(.*?)" 
data-act="boarditem-click" 
data-val="{movieId:\\\\d+}">(.*?)</a></p>.*?<p class="star">(.*?)</p>.*?<p 
class="releasetime">(.*?)</p>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            '电影名称': item[1],
            '主演': item[2].strip(),
            '上映时间': item[3]
        }

# 保存数据函数
def save_data():
    f = open('maoyan_top100.txt', 'w', encoding='utf-8')
    for i in range(10):
        url = '<https://maoyan.com/board/4?offset=>' + str(i*10)
        response = requests.get(url, headers=headers)
        for item in parse_html(response.text):
            f.write(str(item) + '\\\\n')
    f.close()

if __name__ == '__main__':
    save_data()

3.爬取全国高校名单

  • 这个案例使用正则表达式和requests库爬取全国高校名单，并将这些信息保存到TXT文件中。
import requests
import re

# 请求URL
url = '<http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
pattern = re.compile('<tr class="alt">.*?<td>(.*?)</td>.*?<td><div align="left">.*?<a 
href="(.*?)" target="_blank">(.*?)</a></div></td>.*?<td>(.*?)</td>.*?<td>(.*?)</td>.*?</tr>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            '排名': item[0],
            '学校名称': item[2],
            '省市': item[3],
            '总分': item[4]
        }

# 保存数据函数
def save_data():
    f = open('university_top100.txt', 'w', encoding='utf-8')
    response = requests.get(url, headers=headers)
    for item in parse_html(response.text):
        f.write(str(item) + '\\\\n')
    f.close()

if __name__ == '__main__':
    save_data()

4.爬取中国天气网城市天气

  • 这个案例使用xpath和requests库爬取中国天气网的城市天气，并将这些信息保存到CSV文件中。
import requests
from lxml import etree
import csv

# 请求URL
url = '<http://www.weather.com.cn/weather1d/101010100.shtml>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
    selector = etree.HTML(html)
    city = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/h1/text()')[0]
    temperature = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/i/text()')[0]
    weather = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/@title')[0]
    wind = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/span/text()')[0]
    return city, temperature, weather, wind

# 保存数据函数
def save_data():
    f = open('beijing_weather.csv', 'w', newline='', encoding='utf-8-sig')
    writer = csv.writer(f)
    writer.writerow(['城市', '温度', '天气', '风力'])
    for i in range(10):
        response = requests.get(url, headers=headers)
        city, temperature, weather, wind = parse_html(response.text)
        writer.writerow([city, temperature, weather, wind])
    f.close()

if __name__ == '__main__':
    save_data()

5.爬取当当网图书信息

  • 这个案例使用xpath和requests库爬取当当网图书信息，并将这些信息保存到CSV文件中。
import requests
from lxml import etree
import csv

# 请求URL
url = '<http://search.dangdang.com/?key=Python&act=input>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
    selector = etree.HTML(html)
    book_list = selector.xpath('//*[@id="search_nature_rg"]/ul/li')
    for book in book_list:
        title = book.xpath('a/@title')[0]
        link = book.xpath('a/@href')[0]
        price = book.xpath('p[@class="price"]/span[@class="search_now_price"]/text()')[0]
        author = book.xpath('p[@class="search_book_author"]/span[1]/a/@title')[0]
        publish_date = book.xpath('p[@class="search_book_author"]/span[2]/text()')[0]
        publisher = book.xpath('p[@class="search_book_author"]/span[3]/a/@title')[0]
        yield {
            '书名': title,
            '链接': link,
            '价格': price,
            '作者': author,
            '出版日期': publish_date,
            '出版社': publisher}

# 保存数据函数
def save_data():
    f = open('dangdang_books.csv', 'w', newline='', encoding='utf-8-sig')
    writer = csv.writer(f)
    writer.writerow(['书名', '链接', '价格', '作者', '出版日期', '出版社'])
    response = requests.get(url, headers=headers)
    for item in parse_html(response.text):
        writer.writerow(item.values())
    f.close()

if __name__ == '__main__':
    save_data()

6.爬取糗事百科段子

  • 这个案例使用xpath和requests库爬取糗事百科的段子，并将这些信息保存到TXT文件中。
import requests
from lxml import etree

# 请求URL
url = '<https://www.qiushibaike.com/text/>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
    selector = etree.HTML(html)
    content_list = selector.xpath('//div[@class="content"]/span/text()')
    for content in content_list:
        yield content

# 保存数据函数
def save_data():
    f = open('qiushibaike_jokes.txt', 'w', encoding='utf-8')
    for i in range(3):
        url = '<https://www.qiushibaike.com/text/page/>' + str(i+1) + '/'
        response = requests.get(url, headers=headers)
        for content in parse_html(response.text):
            f.write(content + '\\\\n')
    f.close()

if __name__ == '__main__':
    save_data()

7.爬取新浪微博

  • 这个案例使用selenium和requests库爬取新浪微博，并将这些信息保存到TXT文件中。
import time
from selenium import webdriver
import requests

# 请求URL
url = '<https://weibo.com/>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

# 解析页面函数
def parse_html(html):
    print(html)

# 保存数据函数
def save_data():
    f = open('weibo.txt', 'w', encoding='utf-8')
    browser = webdriver.Chrome()
    browser.get(url)
    time.sleep(10)
    browser.find_element_by_name('username').send_keys('username')
    browser.find_element_by_name('password').send_keys('password')
    browser.find_element_by_class_name('W_btn_a').click()
    time.sleep(10)
    response = requests.get(url, headers=headers, cookies=browser.get_cookies())
    parse_html(response.text)
    browser.close()
    f.close()

if __name__ == '__main__':
    save_data()
希望这7个小案例能够帮助大家更好地掌握Python爬虫的基础知识！

爬虫注意事项与技巧

  • 遵循Robots协议
  • 尊重网站的爬虫协议，避免爬取禁止爬取的内容。
  • 设置合理的请求间隔
  • 避免对目标网站服务器造成过大压力，合理设置请求间隔。
  • 处理反爬虫策略
  • 了解并应对网站的反爬虫策略，如IP封禁、验证码等。
  • 使用代理IP、Cookies等技巧
  • 提高爬虫的稳定性和成功率。
  • 分布式爬虫的搭建与优化
  • 使用Scrapy-Redis等框架，实现分布式爬虫，提高爬取效率。

Python爬虫框架

  • Scrapy：强大的Python爬虫框架，支持分布式爬取、多种数据格式、强大的插件系统等。
  • Scrapy-Redis：基于Scrapy和Redis的分布式爬虫框架，实现分布式爬取和去重功能。

结语：

  • 通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。
    图片

总结

  • 最后希望你编程学习上不急不躁,按照计划有条不紊推进,把任何一件事做到极致,都是不容易的,加油,努力！相信自己！

文末福利

  • 最后这里免费分享给大家一份Python全套学习资料，希望能帮到那些不满现状，想提升自己却又没有方向的朋友，也可以和我一起来学习交流呀。
包含编程资料、学习路线图、源代码、软件安装包等！【[点击这里]】领取！
  • ① Python所有方向的学习路线图，清楚各个方向要学什么东西
  • ② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
  • ③ 100多个Python实战案例，学习不再是只会理论
  • ④ 华为出品独家Python漫画教程，手机也能学习

可以扫描下方二维码领取【保证100%免费】在这里插入图片描述

python爬虫入门（简单爬虫案例）
ahc176的博客
09-11 3098
一、工具： pycharm，python3.7 二、爬虫的过程： 1.发起请求：通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应 2.获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型 3.解析内容：得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象
Python爬虫入门实例：Python7个爬虫小案例（附源码）
最新发布
web15870359587的博客
12-05 2255
通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！
图解爬虫，用几个最简单的例子带你入门Python爬虫
ZackSock的博客
11-26 9767
一、前言 爬虫一直是Python的一大应用场景，差不多每门语言都可以写爬虫，但是程序员们却独爱Python。之所以偏爱Python就是因为她简洁的语法，我们使用Python可以很简单的写出一个爬虫程序。本篇博客将以Python语言，用几个非常简单的例子带大家入门Python爬虫。 二、网络爬虫 如果把我们的因特网比作一张复杂的蜘蛛网的话，那我们的爬虫就是一个蜘，我们可以让这个蜘蛛在网上任意爬行，在...
7个Python爬虫入门小案例
csdn1561168266的博客
05-31 1806
大家好，随着互联网的快速发展，数据成为了新时代的石油。Python作为一种高效、易学的编程语言，在数据采集领域有着广泛的应用。本文将详细讲解Python爬虫的原理、常用库以及实战案例，帮助读者掌握爬虫技能。
python入门基础知识实例-Python入门基础知识实例，值得收藏！
weixin_37988176的博客
10-29 253
7月的编程语言指数榜已经发布，Python 在今年5月首次超越 Java 拿下榜首位置后，仍保持上涨趋势，正逐渐与 Java 拉开差距。（图为与去年 7 月数据对比）上周为大家简单介绍了如何安装Python和配置环境？相信大家都将Python安装成功了吧~今天小白就为大家分享一些Python的基础知识，希望大家都能快速入门Python~学习更多Python知识，来Python学习交流q.u.n.[...
10个python爬虫入门实例
python学习者的博客
09-30 1518
1.爬取强大的BD页面，打印页面信息 # 第一个爬虫示例,爬取百度页面 import requests #导入爬虫的库，不然调用不了爬虫的函数 response = requests.get("http://www.baidu.com") #生成一个response对象 response.encoding = response.apparent_encoding #设置编码格式 print("状态码:"+ str( response.status_code ) ) #打印状态码 print(respons
Python爬虫入门教程：超级简单的Python爬虫教程Python入门实例中文PDF版最新版本
11-30
Python爬虫入门教程是一篇超详细介绍 Python 爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30 分钟即可学会编写简单的 Python 爬虫。 Python 爬虫入门实例主要...
python爬虫实例100例-python 爬虫实例
q6q6q的专栏
10-28 3584
#爬取图片importtimeimportrequestsfrom bs4 importBeautifulSoupclassAaa():headers={"Cookie": "__cfduid=db706111980f98a948035ea8ddd8b79c11589173916","User-Agent": "Mozilla/...
一天时间入门python爬虫，直接写一个爬虫案例，分享出来，很简单
Q2605894893的博客
12-02 2268
经过两天的摸索，终于写出了一个小小小爬虫。我的电脑是没有配置python环境的，所以首先要上官网下载python的环境文件。   点击点头指向的按钮，下载到桌面，它是一个这样的文件“python-3.6.5.exe”，下载成功后直接点击安装，安装成功后，那接下来就是配置环境变量啦。   嘻嘻~那我也跟着尝试一下，去发现我IDEA竟然这样.. 尴尬..............
最简单的python 爬虫
08-09 506
C:\Users\IBM_ADMIN>python -V Python 2.7.13 查Python 工资的网站 ： http://www.jobui.com/salary/%E5%8C%97%E4%BA%AC-python%E5%B7%A5%E7%A8%8B%E5%B8%88/ # -*- coding:utf-8 -*- import re,urllib2 url = 'http:
10个python爬虫入门实例(小结)
12-16
昨天带伙伴萌学习python爬虫，准备了几个简单的入门实例 涉及主要知识点: web是如何交互的 requests库的get、post函数的应用 response对象的相关函数，属性 python文件的打开，保存 代码中给出了注释，并且可以直接运行哦 如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境) windows用户，Linux用户几乎一样: 打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管理员方式运行cmd窗口 pip install -i https://pypi.tuna.
python爬虫
98年的老阿姨
01-20 297
import requests from bs4 import BeautifulSoup import xlwt # 爬取园区数据 class YuanQu: def __init__(self,index,name,province,city,qu,address,area,num,url,coordinate): self.index = index self.name = name self.province = province
10个Python爬虫入门实例，建议收藏！！（附代码）
Z987421的博客
10-12 5199
需要资料的朋友可以看文末。
10个Python爬虫入门实例
热门推荐
m0_59164304的博客
05-30 1万+
昨天带伙伴们学习python爬虫，准备了几个简单的入门实例，分享给大家。 涉及主要知识点: 1.web是如何交互的 2.requests库的get、post函数的应用 3.response对象的相关函数，属性 4.python文件的打开，保存 代码中给出了注释，并且可以直接运行哦 如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境) windows用户，Linux用户几乎一样: 打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限
python爬取网页停止_Python爬虫之爬取静态网页
weixin_39849287的博客
11-24 346
所谓网络爬虫，通俗的讲，就是通过向我们需要的URL发出http请求，获取该URL对应的http报文主体内容，之后提取该报文主体中我们所需要的信息。所以，想要学习python爬虫，需要具备一些http的基础知识，熟悉http请求的基本过程。在本文中，首先会简单的介绍一下http请求的基本流程，之后介绍python的requests库，requests库可以方便地帮助我们完成http请求。因为本文介绍...
Python基础案例（一）
weixin_34279061的博客
04-12 185
早就有耳闻Python是多么多么的强大了，满怀一颗好奇心去研究研究，初学几天，果然不出所料，Python很强大，相对java,C# 等来说也比较简单，于是在学习中做了点总结，欢迎评论区留言，互相交流学习！ 案例：Python输出一个爱心： print " *** ***" print " ********* ***...
20+个小而精的Python实战案例（附源码和数据）
尤尔小屋
07-02 1万+
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~
python爬虫入门小案例
One of thre_tigers的博客
03-29 853
博客简介 本博客是python爬虫入门时的几个案例，记录学习过程： 京东页面爬取 亚马逊页面爬取 百度/360搜索关键词提交 网络图片的爬取和存储 IP地址自动查询 京东页面爬取 这个简单，京东的这个页面没有给页面审查，可以无障碍地访问它： import requests def getHtmlText(url): try: r=requests.get(url) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值