VinWqx的博客

一、爬取网页 pixiv网站是一个以插图、漫画和小说艺术为中心的虚拟社区网站。其初衷是为全球艺术家提供一个平台，发表他们作品，并透过评级系统反映用户意见。该网站以用户投稿的原创图画为中心，辅以标签、书签、作品回应、排行榜等功能形成具有其特色的社交网络。 本文以p站作为数据爬取对象，其工作内容主要可分为以下内容：爬取p站月排行榜插画 自动打包压缩插画文件 实现邮件发送压缩文件二、解析网页三、构造数据四、文件压缩五、发送邮件六、问题...

一、本文编写缘由 在之前写的《python 爬取p站排行榜并自动发送邮件》中涉及到把插画原图文件夹整体打包压缩，然后以附件的形式进行邮件转发。但是一般来说，原图的尺寸都会比较大，且对于图片来说，能够做到的无失真压缩很小，压缩之后基本跟原始大小差不多。而大文件的传输将耗费比较长的时间，如果中止可能整个文件的传送被取消（比如微信～），且邮件对与附件的大小作了要求，要求上传规定范围内的文件。因此，有了将一个文件压缩成多个文件的需求。二、单个文件压缩三、单个目录压缩...

一、本文编写缘由 很久没有写过爬虫，已经忘得差不多了。以爬取p站图片为着手点，进行爬虫复习与实践。二、获取网页源码 爬取网页数据的过程主要用到request库，一个简单的网页爬虫实现过程大致可以分为一下步骤：指定爬取url 发起爬取请求 存储爬取数据 下面以爬取pixiv网站为例，获取pixiv网站首页源码并存储到pixiv1.html文件中。import requestsif __name__ == "__main__": ...

一、模块介绍 argparse模块是python内置的一个模块，用于编写命令工具和参数解析，可以轻松编写用户友好的命令行接口。通过程序定义需要的参数，然后argparse将弄清如何从sys.argv解析出这些参数。argparse模块还会自动生成帮助和使用手册，并在用户给程序传入无效参数时报出错误信息。二、使用流程导入argparse模块 创建ArgmentParser()对象 调用add_argument()方法添加参数 使用parse_args()解析添加的参数...