爬取优快云博文到本地(包含图片，标签等信息)

最新推荐文章于 2025-04-09 01:05:50 发布

木子dn

最新推荐文章于 2025-04-09 01:05:50 发布

阅读量748

点赞数 4

分类专栏： Hexo 文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/m0_51390969/article/details/139843357

版权

Hexo 专栏收录该内容

5 篇文章

订阅专栏

文章目录

csdnToMD

csdnToMD

项目原作者：https://gitee.com/liushili888/csdn-is—mark-down

改进后仓库地址：https://github.com/Xiamu-ssr/csdnToMD

改进

这里进行一定的改进，可以更准确获取时间，也可以选择图片的存放方式是否集中或分离到每篇文章的同名文件夹，以适应部分md扩展语法，比如{% asset_img 1.png %}

爬取结果截图
在这里插入图片描述

将优快云文章转化为Markdown文档

很多情况下，我们需要将优快云中的文章转化为markdown文档，直接复制全文是不可以的，优快云不支持。

那有什么办法快速得到md文档？

原理:

由于优快云不是获取数据不是前后端分离的，所以无法根据接口获取文章的所有数据，它的数据是和页面元素组合在一起的，需要根据页面中的元素标签转化为markdown中的元素标签。
使用jsoup解析csdn文档
利用jericho-html、flexmark-all、jsoup、selenium等工具将html文档转化为markdown文档

使用:

去https://googlechromelabs.github.io/chrome-for-testing/下载chromedriver，解压后修改DynamicScraperTime函数的驱动地址。如果不下载驱动也可以，把String time = DynamicScraperTime(startUrl);的获取换成下一行被注释的就行，但是因为页面动态加载的原因，会无法获取准确的时间。
然后直接将优快云文章的url放入crawler类即可

例如：

获取单个文章markdown

public class Main {
    private static final String 优快云_URL = "https://blog.youkuaiyun.com/m0_51390969/";

    public static void main(String[] args) {
        AbstractCrawler crawler = new CsdnCrawler();
        crawler.crawlOne("https://blog.youkuaiyun.com/m0_51390969", "131172667");
    }
}

获取所有的文章markdown

public class Main {
    private static final String 优快云_URL = "https://blog.youkuaiyun.com/m0_51390969/";

    public static void main(String[] args) {
        AbstractCrawler crawler = new CsdnCrawler();
        crawler.crawl(优快云_URL);
    }
}