MaoziYa的博客

使用fake_useragent随机构建UserAgent from fake_useragent import UserAgent ua = UserAgent(verify_ssl=False) def get_header(): return { 'User-Agent': ua.random } 使用代理池 import requests # 首先需要配置代理池，具体见：https://github.com/Python3WebSpider/Porx

因为老师要求实验报告中附带参考文献原文，所以编写了这个文件。（作业果然是最佳动力 Python的pdf工具还是很全的，本次使用了wkhtmltopdf接口 因为基本不会报什么错，所以写成了命令行运行形式 一次只能处理一个url 因为根据自己需要编写的，放到博客上只是给小伙伴们参考思路，根据自己的需求修改~ #!/usr/bin/python #@Author: zhongshsh import ...

最近因为需要整理学者信息，所以编写了个爬虫程序： 大致思路是这样啦，代码还没优化，先放着吧 import requests import re from bs4 import BeautifulSoup, NavigableString import url_manager import urllib def get_html(url): headers = { ...

本文的方法主要实现批处理pdf2txt。强推方法二！！！ 方法一：使用pdfminer3k 参考来自GitHub的代码。 ###################################### # tesseract OCR from PIL import Image import pytesseract def img_to_str_tesseract(image_path, lang...