AmazingUU的博客

引言最近在学习Python爬虫，这里推荐一个入门爬虫的博客系列https://github.com/Ehco1996/Python-crawler博主写的对新手很友好，很适合入门。我写这篇文章的目的是记录一下在学习他的从零开始写Python爬虫 — 爬虫应用：IT之家热门段子（评论）爬取中做的改进和遇到的问题。思路和原文爬取特定分类新闻下的热评不同的是，我是爬取IT之家首页的最热排...

引言最近在学习Python爬虫，这里推荐一个入门爬虫的博客系列https://github.com/Ehco1996/Python-crawler博主写的对新手很友好，很适合入门。我写这篇文章的目的是记录一下在学习他的搜狗词库抓取&解析 中遇到的问题。思路和原文不同的是，我是采用Scrapy实现，并且考虑到后面对词库关键词的解析不属于爬虫，所有我就只实现了搜狗词库爬取，没有做...

引言最近在学习Python爬虫，发现Scrapy框架是解决了Python多线程问题，不用自己去理解多线程，只需遵循它的框架来写就行了。但是在我用requests爬虫的时候，就要自己编写多线程的逻辑了，还是需要去查资料好好理解一下的。个人理解1. python的多线程常用的有两种：(1) 正常的启动多个thread，每个线程跑一个任务，进程间用队列queue通信。具体实现如下:def pu...

引言之前网易云音乐和农夫山泉合作，将热门评论印在农夫山泉上引爆了朋友圈。于是想爬取一下网易云的评论。网上搜了一下，对于网易云评论的爬虫不少，主要参考这篇文章：对网易云音乐参数（params，encSecKey）的分析 。在此基础上，添加了爬取云音乐飙升榜中歌曲，再去爬取这些歌曲的评论。在做项目的过程中还是遇到了一些问题，在此记录下来思路爬取云音乐飙升榜中的歌曲相关信息爬取对应歌曲的热门评...

引言上篇文章讲到抖音首页视频的爬取和下载，于是我想到能不能下载特定的视频。网上搜索一番，发现有网站提供抖音无水印视频的下载，但是试了几个，发现下载下来都还是有水印的视频。上篇文章已经实现了首页无水印视频的下载，于是想自己建一个网站实现一下指定视频的无水印下载。参考现有的网站，实现的思路都是输入为抖音的分享链接，输出为无水印视频，我也参照这一思路，实现了效果。在此记录一下过程中遇到的问题。思路...