下载有规律网页的url下的文件

最新推荐文章于 2023-04-04 12:01:42 发布
最新推荐文章于 2023-04-04 12:01:42 发布
阅读量770 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 研究过程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_33241390/article/details/75861192
本文介绍了一种批量下载具有规律变化的网页的方法，并提供了三种不同功能的小脚本：直接下载两个连续网页、遍历指定范围内的所有编码进行下载、以及加入文件存在判断以减少不必要的硬盘读写操作。

网页网址经常会有一些有规律的数字部分，其他都是相同的，这时该怎么下载呢？为此，我先后编了三个小片段，分享给大家。
第一个是直接下载一直的两个网页
第二个是遍历范围内的所有编码


第三个是为了减少硬盘读写，加入判断文件是否存在









下载的文件如下图所示













                

        

    

    
  



    



                



	

		

			

				
					
爬取并下载url不变的pdf文件

				
			

			

				

					BulletTech2021的博客
				

				

					07-25
					
					509
					
				

			

		

		

			
				
1 引言

为了更好的卖保险(导师要求)，需要下载保险业协会官网-信息披露中保险公司披露的pdf文件。保险公司很多，每家又有不少年度披露的pdf。同时，神奇的是，无论怎么点击页面，网页的url都没有发生变化。为了拒绝当人肉爬虫，我们再次尝试使用Python帮助我们高效、自动地下载这些pdf文件。

2 具体步骤

我们打开保险业协会网站，点击不同的科目，如保险公司年度信息披露，我们发现页面的url并没有发生变化。这时，请不要怀疑自己的眼睛或是砸烂电脑，我们应该合理地怀疑页面采取了某些异步请求(Ajax)的方

			
		

	



                

            
              



	

		

			

				
					
python自动登录网站下载文件_让Python自动下载网站所有文件

				
			

			

				

					weixin_39965794的博客
				

				

					11-29
					
					1783
					
				

			

		

		

			
				
阅读本文大概需要 3 分钟。最近维基 jie mi 彻底公开了网站的全部文件，我就在想如何使用 Python 将其下载到本地永久保存，于是就有了这篇文章，写爬虫会遇到很多坑，借鉴他人经验，考虑越全面，出错的概率就越小。假如一个网站，里面有很多链接，有指向文件的，有指向新链接的，新的链接点击进去后，仍然是有指向文件的，有指向新链接的，类似一个文件夹，里面即有文件，又有目录，目录中又有文件和目录。如何...

			
		

	



              


  
              

                


	

		

			

				
					
遍历路径下的所有文件

				
			

			

				

					面朝大海，春暖花开
				

				

					11-13
					
					908
					
				

			

		

		

			
				
1、先挂最顶级节点
 TreeListNode pNode = tlFileDisplay.AppendNode(new object[] { beOpen.Text }, -1);
 GetAllDirectory(beOpen.Text, tlFileDisplay, pNode);函数

			
		

	





	

		

			

				
					
URL下载实现

				
			

			

				

					qq_45332164的博客
				

				

					11-15
					
					397
					
				

			

		

		

			
				
URL
https://www.baidu.com/
URL：统一资源定位符
DNS：域名解析	https://www.baidu.com/ 解析成一个ip
1.协议：//ip地址：端口/项目名/资源

package com.zr.lesson04;

import java.net.MalformedURLException;
import java.net.URL;

public class URLDemo01 {
    public static void main(String[] args)

			
		

	



		

			
		



	

		

			

				
					
wget命令批量下载图片，有规律的url

				
			

			

				

					A  PClover's  dream
				

				

					11-22
					
					751
					
				

			

		

		

			
				
适合有规律的图片地址

1、第一步：生成图片下载地址


$: echo www.jiansouti.com/pic/{001..020}.jpg >url.txt


得到二十张图片的地址是用空格分开的,再用vim编辑url文件，把空格替换成回车(\r)

：s/ /\r/g

结果：


www.jiansouti.com/pic/001.jpg

www.jiansouti.com/pic/002.jpg

www.jiansouti.com/pic/003.jpg

www.jiansouti

			
		

	





	

		

			

				
					
遍历网站某个目录下的所有文件

				
			

			

				

					09-03
				

			

		

		

			
				
遍历网站某个目录下的所有文件，本地测试没有问题，一下F盘所有都可以看到，不过文件太多了，打开有点慢哦，哈哈！

			
		

	





	

		

			

				
					
寻找有效的URL

				
			

			

				

					KMAllen的博客
				

				

					03-22
					
					1791
					
				

			

		

		

			
				
1.找到QQ音乐的下载网址[谷歌浏览器]
播放界面中，刷新F5，查看文件类型，有个type为media，且size比较大[相对而言]，有**M，点击查看
注：一般情况，在检查界面，只有一个media，size比较大，出现两个，是因为我接连播放了两首歌，并没有关闭界面

点击对应的Name部分，然后就找到了本歌曲的下载网址

2.分析网址[以&符号为界，分开][
[薛之谦·动物世界]
htt...

			
		

	





	

		

			

				
					
如何用python批量下载网页规律性csv文件

					
最新发布

				
			

			

				

					05-04
				

			

		

		

			
				
然后，用户需要生成这些有规律的URL。假设URL的结构是基础部分加上变量部分，比如日期或序号。例如，基础URL可能是“http://example.com/data_”，后面接日期，再加上“.csv”。用户需要根据规律生成这些变量部分，...

			
		

	





	

		

			

				
					
Python3.x爬虫下载网页图片的实例讲解

				
			

			

				

					09-20
				

			

		

		

			
				
首先是分析网站图片链接的规律，然后编写正则表达式来匹配图片URL，接着通过requests获取网页内容，并使用BeautifulSoup解析这些内容以查找图片的src属性。找到图片的URL后，程序会尝试下载这些图片并保存到本地。  ...

			
		

	





	

		

			

				
					
python模拟网页上传文件_python模拟网页上传文件

				
			

			

				

					weixin_39524048的博客
				

				

					12-05
					
					1532
					
				

			

		

		

			
				
在开发过程中经常有需要上传文件，而python上传文件官方并不直接支持，网上的大部分方案都是用python poster库来支持文件上传，用这种方式上传文件确实也特别的简单。今天我要介绍的是模拟网页来上传文件，这样不需要依赖第三方库，使用和传播都更加的方便。既然是模拟网页提交，我们先来看看网页上传文件到底上传了什么内容？这是请求的header，我们主要关注的是Content-Length、Cont...

			
		

	





	

		

			

				
					
批量打开url

				
			

			

				

					11-10
				

			

		

		

			
				
1.一次能打开多少个网页？工具没限制打开网页的数量，但是同时打开大量的网页会致使浏览器以及电脑变慢，请酌情批量打开。

2.用此工具打开网页，安全吗？打开记录是否被保存？工具是纯JS调用，绝不会获取您的查询记录！请放心使用。

3.暂时不支持批量打开https类型开头的网址，请用办公工具把https查找替换批量去掉。

			
		

	





	

		

			

				
					
URL网址链接

				
			

			

				

					01-11
				

			

		

		

			
				
   java编写的一个简单的获取网上的地址程序

			
		

	





	

		

			

				
					
网络爬虫系列之一：通过URL下载网页

					
热门推荐

				
			

			

				

					最后的晚餐
				

				

					03-29
					
					1万+
					
				

			

		

		

			
				
世界上第一个爬虫叫做"互联网漫游者（www wanderer）"，是由MIT学生马修·格雷写的。我想他大概也是通过细心细致的观察后发现：互联网上的页面之间是有联系的。比如说，通过分析一个页面的链接，就能下载到其它页面。而且做起来可能没那么困难，就放手去尝试，第一个爬虫就成了！
        初学爬虫，顺着自己的思路往下做。
        第一个爬虫的第一个部分就是下载，同时也知道第二个部分

			
		

	





	

		

			

				
					
URL下载网页资源

				
			

			

				

					zxyccm的博客
				

				

					09-14
					
					977
					
				

			

		

		

			
				
网络与分布计算第一次作业：给定一个图片的URL地址，如https://www.nwpu.edu.cn/images/logo2.png，使用Java的URL类，将该图片保存到本地磁盘上。

			
		

	





	

		

			

				
					
URL下载网络资源

				
			

			

				

					余杯冷饮的博客
				

				

					04-04
					
					365
					
				

			

		

		

			
				
url：统一资源定位符：定位互联网上的某一个资源。

			
		

	





	

		

			

				
					
通过Url下载网络资源

				
			

			

				

					m0_46249306的博客
				

				

					02-20
					
					443
					
				

			

		

		

			
				
步骤

通过下载地址创建url对象
连接到这个资源的http
从获取输入流
读取并写入
关闭连接

具体代码
package Url;

import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;

public class UrlDown {
    public static void ma

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值