爬虫--基于urllib的简单的爬虫反爬虫

最新推荐文章于 2025-06-26 18:29:10 发布
原创 最新推荐文章于 2025-06-26 18:29:10 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#基于urllib的简单的爬虫

本文介绍了基于urllib的简单Python爬虫，包括使用流程、快捷键操作，以及反爬机制。在反爬机制中提到了网站通过检查User-Agent来识别爬虫，并给出了如何伪装UA进行反反爬的思路。最后，文章提到了post请求在爬虫中的应用。

anaconda下自带 jupyter notebook ，安装及环境变量设置参考：
https://blog.youkuaiyun.com/Light__1024/article/details/88655333

简介：

爬虫，模拟浏览器浏览网页，抓取页面数据（抓取全部数据或指定数据）。
robots.txt协议，口头协议，约定爬虫数据的获取要遵循的协议。
在这里插入图片描述
在这里插入图片描述
NEW

点击Folder新建一个文件夹

点击Python 3  新建一个ipynb为后缀的文件

点击Text File  默认生成一个文本文件  可以修改文件名和后缀

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

快捷键的使用


                

                
                
        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Python常用模块 之 urllib&&urllib3 【爬虫库】

				
			

			

				

					孤寒者的博客
				

				

					09-15
					
					10万+
					
				

			

		

		

			
				
Python常用模块 之 urllib&&urllib3 【爬虫库】

			
		

	



                

            
              



	

		

			

				
					
urllib实战与反爬策略

				
			

			

				

					weixin_44659258的博客
				

				

					04-20
					
					240
					
				

			

		

		

			
				
urllib实战与反爬策略
详解Http请求协议




关键字
说明




Request URL
请求的URL地址


Request Method
请求方法


Status Code
状态码


Remote Address
远端地址


Connection
连接类型


Content-Encoding
数据压缩方式，常用压缩算法：Content-Encoding:zip,Conte...

			
		

	



              


  
              

                


	

		

			

				
					
python爬虫 urllib模块反爬虫机制UA详解

				
			

			

				

					12-31
				

			

		

		

			
				
方法： 使用urlencode函数
urllib.request.urlopen()

import urllib.request
import urllib.parse
url = 'https://www.sogou.com/web?'
#将get请求中url携带的参数封装至字典中
param = {
  'query':'周杰伦'
}
#对url中的非ascii进行编码
param = urllib.parse.urlencode(param)
#将编码后的数据值拼接回url中
url += param
response = urllib.request.urlopen(url=url)

			
		

	





	

		

			

				
					
Urllib中反爬

				
			

			

				

					qq_42980073的博客
				

				

					12-20
					
					281
					
				

			

		

		

			
				
Urllib中反爬
环境：win10+Anaconda3.5+pycharm
1，加headers
from urllib import request
#导入库
url='https://www.baidu.com/'
#网址
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.3...

			
		

	



		

			
		



	

		

			

				
					
2.urllib包学习(反爬虫网页源码爬取)

				
			

			

				

					qq_43808700的博客
				

				

					02-02
					
					1184
					
				

			

		

		

			
				
python3集成了python2中urllib和urllib2的所有功能，在python3环境下只需要引入urllib库就可以使用urllib和urllib2的所有功能

本篇博客内容所使用的所有包：urllib(urllib.request.urlopen、urllib.parse)、pickle


Get方式简单爬取百度首页源码

1.先引入urllib下的request
import urllib.request

2.使用get方式请求获取请求
response = urllib.reques.

			
		

	





	

		

			

				
					
python百度翻译urllib_python爬虫入门--用urllib实现百度翻译-Go语言中文社区

				
			

			

				

					weixin_29557457的博客
				

				

					02-10
					
					351
					
				

			

		

		

			
				
前言上一篇内容，已经学会了使用简单的语句对网页进行抓取。接下来，详细看下urlopen的两个重要参数url和data，学习如何发送数据data。我们想做一个百度翻译就需要向百度翻译的服务器发送我们想要翻译的内容。上一篇我们说过 urllib有几个默认的参数，出了几个默认的参数外 出了url 这次我需要用到一个dataurllib.request.urlopen(url, data=None, [t...

			
		

	





	

		

			

				
					
用python3 urllib破解有道翻译反爬虫机制详解

				
			

			

				

					09-18
				

			

		

		

			
				
在本篇教程中，我们将深入探讨如何使用Python3中的urllib库来破解有道翻译网站的反爬虫机制。有道翻译网站作为网易旗下的翻译服务，为了防止自动化脚本对其服务进行滥用，实现了一系列的反爬虫策略。本文将详细介绍...

			
		

	





	

		

			

				
					
网络爬虫 - JavaScript解密Ⅱ（十八）

					
最新发布

				
			

			

				

					qq_28396923的博客
				

				

					06-26
					
					1245
					
				

			

		

		

			
				
JavaScript解密Ⅱ

			
		

	





	

		

			

				
					
基于urllib的简单爬虫

				
			

			

				

					Moliam的博客
				

				

					02-15
					
					444
					
				

			

		

		

			
				
基于urllib的简单爬虫什么是爬虫python如何访问互联网URLlib实战爬取html有道翻译隐藏代理爬取妹子图片正则表达式异常处理Scrapy
本系列来源于B站视频。UP主为IT搬運工，系列视频为[小甲鱼]零基础入门学习python。点我直达
什么是爬虫
又称为网页蜘蛛，在网页上获取所需要的信息。
python如何访问互联网
url + lib= urllib
URL
协议://IP地址/资源具体地址
lib
urllib
实战
爬取html
爬取网页html代码
import urllib.requ

			
		

	





	

		

			

				
					
urllib之request模块--解决反扒

				
			

			

				

					sfakh的博客
				

				

					09-22
					
					723
					
				

			

		

		

			
				
本文目录urllib的基本概念urllib库的基本函数和用法urllib.request 模块：urlopen函数
urllib的基本概念
urllib是python中的URL处理模块，Python内置的库，不需要我们安装。urllib是一个包，它收集了4个用于处理url的模块:
①urllib.request ：请求打开和读取url模块
②urllib.error ：异常处理模块(包含由urllib.request造成的异常)
③urllib.parse ：解析模块（拆分、合并等）
④urllib.rob

			
		

	





	

		

			

				
					
Python 爬虫一 简介

				
			

			

				

					weixin_30432007的博客
				

				

					07-14
					
					254
					
				

			

		

		

			
				
什么是爬虫？
爬虫可以做什么？
爬虫的本质
爬虫的基本流程
什么是request&response
爬取到数据该怎么办

什么是爬虫？
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
其实通俗的讲就是通过程序...

			
		

	





	

		

			

				
					
python爬虫从0到1 -urllib_请求对象的定制（反爬策略）

				
			

			

				

					苏凉.py的博客
				

				

					02-20
					
					1088
					
				

			

		

		

			
				
请求对象的定制
下面我们来学习以下urllib中请求对象的定制。
1.UA介绍
UA（user  agent）中文名为用户代理，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本，cpu类型，浏览器及版本，浏览器内核，浏览器渲染引擎，浏览器语言，浏览器插件等。
语法如下：

request = urllib.request.Request()


...

			
		

	





	

		

			

				
					
学习笔记(24):第二章： urllib实战与反爬策略-详解Http请求协议

				
			

			

				

					wj1408421029的博客
				

				

					12-25
					
					222
					
				

			

		

		

			
				
通过本章课程的学习，分析并解决各个目标网站的反爬机制，搭建自己的多机分布式爬虫系统，完成招标平台数据采集项目。

			
		

	





	

		

			

				
					
学习笔记(25):第二章： urllib实战与反爬策略-urllib模块使用案例

				
			

			

				

					wj1408421029的博客
				

				

					12-25
					
					155
					
				

			

		

		

			
				
通过本章课程的学习，分析并解决各个目标网站的反爬机制，搭建自己的多机分布式爬虫系统，完成招标平台数据采集项目。

			
		

	





	

		

			

				
					
数据分析训练营-urllib实战与反爬策略-urllib使用案例

				
			

			

				

					lildn的博客
				

				

					12-09
					
					107
					
				

			

		

		

			
				
import urllib.request as ur

ret = ur.urlopen('https://edu.csdn.net/').read()#读取网页内容
print(ret)
with open('edu.html','wb') as f:#写入文件
    f.write(ret)




			
		

	





	

		

			

				
					
爬虫（urllib及requests模块）

				
			

			

				

					qq_43281189的博客
				

				

					02-27
					
					476
					
				

			

		

		

			
				
1. HTTP常见状态码
2xxx: 成功
3xxx: 重定向
4xxx: 客户端的问题
5xxxx: 服务端的问题

404： 页面找不到
403： 拒绝访问
200: 成功访问

消息
100 Continue
101 Switching Protocols
102 Processing

成功
200 OK
201 Created
202 Accepted
203 Non-Authorita...

			
		

	





	

		

			

				
					
urllib学习之爬虫

				
			

			

				

					wangpi_csdn16的博客
				

				

					03-14
					
					522
					
				

			

		

		

			
				
1、urllib其实是一个包，包括了四个模块：

urllib.request:用于打开和读取 URL

urllib.parse：用于分解url

urllib.error：包括了ullib.request产生的异常

urllib.robotparser：分解robots.txt文件

 

2、来说一下具体用法

比如用于访问百度



首先调用urllib包中request模块，然后用ur...

			
		

	





	

		

			

				
					
反爬 与 反反爬

				
			

			

				

					南七小僧的学海无涯
				

				

					08-23
					
					5710
					
				

			

		

		

			
				
了解网站的反爬机制

一般网站从以下几个方面反爬虫：

1. 通过Headers反爬虫

从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。

如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的...

			
		

	





	

		

			

				
					
Python反爬虫技术在信息保护中的应用实践

				
			

			

				

					
				

			

		

		

			
				
"基于python的反爬虫技术的研究设计与实现"  在当前的互联网环境中，信息量巨大且复杂，网络上的数据频繁更新，其中不乏大量重复信息。为了吸引流量，许多网站和博客会尝试利用热门话题提升点击率。爬虫作为一种高效...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值