使用Python实现通过doi下载文献pdf

最新推荐文章于 2024-11-09 14:47:35 发布

WuGenQiang

最新推荐文章于 2024-11-09 14:47:35 发布

阅读量3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： # Python 文章标签： Python爬虫

本文链接：https://blog.youkuaiyun.com/wugenqiang/article/details/115921982

Python 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用Python编写的脚本，该脚本可以根据输入的DOI号从Sci-Hub下载单篇文献的PDF文件。通过正则表达式解析文献URL并下载PDF到指定路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Python实现通过doi下载文献pdf

第一版实现：通过doi下载单个文献pdf

后续更新第二版：通过读取表格中doi号，获取doi列表，遍历下载对应的pdf文件，不存在pdf，则返回不存在呗

还会有第三版：网页上获取doi号写入表格

第四版：…

…

第一版：通过doi下载单个文献pdf

#!/usr/bin/python3
# -*- coding: utf-8 -*-

"""
@File: version_1.1_doi_to_get_pdf.py
@Time: 2021/4/20 10:10 下午
@Author: genqiang_wu@163.com
@desc: 通过doi号下载文献pdf

"""

import requests
import re
import os
import urllib.request

# headers 保持与服务器的会话连接
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
}

'''
根据doi，找到文献的pdf，然后下载到本地
'''


def getPaperPdf(url):
    pattern = '/.*?\.pdf'
    content = requests.get(url, headers=headers)
    download_url = re.findall(pattern, content.text)
    # print(download_url)
    download_url[1] = "https:" + download_url[1]
    print(download_url[1])
    path = r"papers"
    if os.path.exists(path):
        pass
    else:
        os.makedirs(path)

    # 使用 urllib.request 来包装请求
    req = urllib.request.Request(download_url[1], headers=headers)
    # 使用 urllib.request 模块中的 urlopen方法获取页面
    u = urllib.request.urlopen(req, timeout=5)

    file_name = download_url[1].split('/')[-2] + '%' + download_url[1].split('/')[-1]
    f = open(path + '/' + file_name, 'wb')

    block_sz = 8192
    while True:
        buffer = u.read(block_sz)
        if not buffer:
            break
        f.write(buffer)
    f.close()
    print("Sucessful to download" + " " + file_name)


if __name__ == '__main__':
    sci_Hub_Url = "https://sci-hub.ren/"
    doi = input("请输入需要下载的文献的doi号：")
    paper_url = sci_Hub_Url + doi
    print(paper_url)
    try:
        getPaperPdf(paper_url)  # 通过文献的url下载pdf
    except Exception:
        print("Failed to get pdf")