爬虫练习题（二）

最新推荐文章于 2025-06-19 21:22:46 发布
原创 最新推荐文章于 2025-06-19 21:22:46 发布 · 705 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了如何使用Python的requests库，结合Referer头来反爬梨视频网站，提取视频ID，解析视频真实URL并下载视频。详细步骤包括分析网页结构，找到关键URL，构造请求并处理动态数据。最终实现视频文件的本地保存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  •  博主链接：张立梵的爬虫开端
  • 个人介绍：小编大一视传在读，目前即将大二
  • 欢迎大家对文章 关注、点赞、收藏

最近小伙伴问我有什么刷题网站推荐，我在这里推荐一下牛客网，这里面包含各种题库，全都是免费的题库，可以全方面提升你的数据操纵逻辑，提升编程实战技巧，赶快来一起刷题吧牛客网笔试题库|面试经验

题目：利用referer防盗链参数反爬数据，以梨视屏为例

1.携带referer参数

2.把视屏下载保存到本地

打开视屏，抓他的包，要求要有referer防盗链的视屏

​

防盗链式记录从哪个地址跳转过来的？有些会携带，有些会不携带，服务器会根据这个检查，一旦核验，同样也会视为爬虫自动化程序，所以我们要携带这个参数

headers = {
	'referer':'https://www.pearvideo.com/video_1766981'
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.49'
}

只向 request url 发起请求，只会返回源代码，就是 HTML 文件，不是视频数据，一般音视频都在媒体，也就是 media 里，好看视频可以在，数据包里显示视频信息，她的 request url 对应的就是视频，点开就能打开，其实梨视频也是一样的

用字符串切片，并且可以以符号'_'分割，split 是分割，rsplit，也是分割方向是从右向左，这样可以把链接最后的数字拿下来，因为唯一变得一串数字是指定视频的位置，不同的数字串指定的是不同的视频，所以是个变量

以上海人的吃瓜自由奋斗史为例

https://xie.infoq.cn/link?target=https%3A%2F%2Fwww.pearvideo.com%2Fvideo_1763204


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    

      

        

            

              
                
                  张立梵
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
爬虫练习题（一）

				
			

			

				

					weixin_66605597的博客
				

				

					04-21
					
					5315
					
				

			

		

		

			
				
10.(选做题1)目标网站https://www.sogou.com/
要求:
1.用户输入要搜索的内容,起始页和终止页
2.根据用户输入的内容爬取相关页面的源码
3.把获取下来的数据保存到本地


import requests
word = input("请输入搜索内容")
start = int(input("请输入起始页"))
end = int(input("请输入结束页"))
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;

			
		

	



                

            
              



	

		

			

				
					
爬虫练习，适合新手

				
			

			

				

					05-05
				

			

		

		

			
				
一个简单的爬虫代码，适合新手玩一玩，代码很简洁，有兴趣的可以下载看一看。

			
		

	



              


  
              

                


	

		

			

				
					
爬虫练习题

				
			

			

				

					m0_56852291的博客
				

				

					01-29
					
					2409
					
				

			

		

		

			
				
from urllib import request
import re
headers={‘User-Agent’:‘zsjggye’}
def getcatelogs(url):
req=request.Request(url=url, headers=headers,method=“GET”)
response=request.urlopen(req)
result=[]
if response.status200:
html=response.read().decode(‘UTF-8’)
alist

			
		

	





	

		

			

				
					
爬虫--以爬取小说为例

					
最新发布

				
			

			

				

					qq_42184486的博客
				

				

					06-19
					
					1533
					
				

			

		

		

			
				
一切都是最好的安排。

			
		

	



		

			
		



	

		

			

				
					
Python-我的爬虫练习

				
			

			

				

					08-10
				

			

		

		

			
				
爬取豆瓣读书。只爬取了每个标签类别的首页的图书信息，若稍加修改，可以爬取任意页数的信息。

			
		

	





	

		

			

				
					
爬虫练习

				
			

			

				

					weixin_43511698的博客
				

				

					07-18
					
					457
					
				

			

		

		

			
				
#爬取京东商品图片的小测试

访问的页面

图片链接的位置

# -*- coding = utf - 8 -*-
#@Time : 2020/7/16 14:54
#@Author : sunzy
#@File : jd.py

import re
import requests
import time
import os

dir = "jdtp"
if not os.path.exists(dir):
    os.mkdir(dir)

baseurl = "https://search.jd.co

			
		

	





	

		

			

				
					
python爬虫练习题

				
			

			

				

					05-18
				

			

		

		

			
				
Python爬虫是利用Python编程语言编写的一种程序，用于自动化地从互联网上获取信息。它可以模拟人的行为，访问网页并提取所需的数据，常用于数据采集、信息监控、搜索引擎优化等领域。以下是Python爬虫的一般介绍：  ...

			
		

	





	

		

			

				
					
基于python的爬虫练习题（提供全套答案

				
			

			

				

					06-23
				

			

		

		

			
				
基于Python的爬虫练习题项目是一个全面的教学资源，旨在帮助学生和开发者掌握网络爬虫技术。该项目提供从基础到高级的练习题以及完整的解决方案，免费提供全部源码，适合自学和教学使用。  项目介绍 该项目设计了一...

			
		

	





	

		

			

				
					
基于python的爬虫练习题（提供全套答案）

				
			

			

				

					05-30
				

			

		

		

			
				
本项目旨在通过一系列爬虫练习题，帮助初学者掌握爬虫的基础知识和实战技能。通过动手实践，理解爬虫的基本原理、常用工具和技术，培养解决实际问题的能力。  练习题模块 基础知识练习：理解HTTP协议、请求与响应、...

			
		

	





	

		

			

				
					
【爬虫】安全测试题库（Python）

				
			

			

				

					07-08
				

			

		

		

			
				
简单Python爬虫：获取URL链接；正则处理；保存TXT

			
		

	





	

		

			

				
					
网络爬虫练习-1

				
			

			

				

					有朋自远方来，不亦乐乎。
				

				

					04-08
					
					2454
					
				

			

		

		

			
				
爬取中国新闻网滚动新闻：滚动新闻-中国新闻网-梳理天下新闻 (chinanews.com.cn)将上述中国新闻网滚动新闻第一页的新闻内容爬下来，保存到txt文件中（可以统一保存到一个，也可以每个新闻保存一个）。

新闻第一页共有125条新闻，首先先获取一下所有新闻的超链接：


from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

html = urlopen('https://www.chinanews.co

			
		

	





	

		

			

				
					
爬虫练习-拉勾网

				
			

			

				

					07-06
				

			

		

		

			
				
从拉勾网上爬取特定岗位的招聘信息，并将爬取的结果传输到MySQL数据库中。

			
		

	





	

		

			

				
					
爬虫练习(一)

				
			

			

				

					就很秃然
				

				

					02-03
					
					709
					
				

			

		

		

			
				
urllib库是python内置的，无需我们额外安装，只要安装了Python就可以使用这个库。
	requests库是第三方库，需要我们自己安装。
requests库强大好用，所以本文使用requests库获取网页的HTML信息。requests库的github地址：https://github.com/requests/requests

requests安装


# -*- coding:UTF-8 -*-
import requests

if __name__ == '__main__':
    

			
		

	





	

		

			

				
					
python—爬虫练习题（scrapy）

				
			

			

				

					红叶谷 wsp_1138886114的博客
				

				

					06-24
					
					3257
					
				

			

		

		

			
				
一、爬取 51job


  1.1 新建scrapy项目:

在D:\learning_code_scrapy （自定义）文件夹目录中执行cmd打开终端
终端执行：scrapy startproject Test_Monday_job51
使用pycharm打开文件：Test_Monday_job51（使用新窗口打开）

  
  1.2 编写scrapy项目:
  
  ◆ 编辑 items....

			
		

	





	

		

			

				
					
小白练习-使用BeautifulSoup库简单的爬虫练习

				
			

			

				

					qq_35854409的博客
				

				

					03-30
					
					1275
					
				

			

		

		

			
				
from bs4 import BeautifulSoup
import requests
url = 'http://www.tripadvisor.cn/Attractions-g60763-Activities-New_York_City_New_York.html#ATTRACTION_SORT_WRAPPER'
we_data=requests.get(url)# 用requests.g

			
		

	





	

		

			

				
					
爬虫 练习

				
			

			

				

					qq_43680406的博客
				

				

					01-08
					
					687
					
				

			

		

		

			
				
爬虫练习

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值