Python的一个伪爬虫，获取图片链接后，用于下载网页图片

钱多多先森

于 2020-03-31 10:21:34 发布

阅读量482

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python文件操作文章标签： python

本文链接：https://blog.youkuaiyun.com/wsLJQian/article/details/104772993

Python文件操作专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种从指定路径下的文本文件中读取URL，并根据这些URL批量下载DCM医学影像文件的方法。通过遍历目录下的所有.txt文件，解析出.dcm链接，检查目标文件是否存在，若不存在则使用requests库进行下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import time
import requests
import os

int_path = r"F:\image\dcm"
for root, dirs, files in os.walk(int_path):
    for filename in files:  # 遍历所有文件
        txt_path = os.path.join(root, filename)
        print(txt_path)
        dcm_name = filename.split(".txt")[0]

        fopen = open(txt_path, 'r')
        lines = str(fopen.readlines())

        all = lines.split(".dcm")
        n=0
        for e in all:
            n+=1
            url = e.split("https")[-1]
            new_url = "https" + url + ".dcm"

            file_name = url.split("/")[-1]+".dcm"
            print(new_url)
            print(file_name)
            if os.path.exists(os.path.join(os.path.join("./test", dcm_name), file_name)):
                print("已存在")
                pass
            else:
                try:
                    res = requests.get(new_url)
                    with open(os.path.join(os.path.join("./test", dcm_name), file_name), 'wb') as f:
                        f.write(res.content)
                    #urlretrieve(new_url, file_name)
                    time.sleep(1)
                except:
                    print("产生异常")