优快云爬虫（四）——博客专家(所有)爬取+数据分析

最新推荐文章于 2025-02-23 07:13:08 发布
最新推荐文章于 2025-02-23 07:13:08 发布
阅读量7.7k 收藏 45
点赞数 8
分类专栏： 爬虫 文章标签： webMagic 爬虫 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wgyscsf/article/details/52751467
版权

优快云爬虫（四）——博客专家(所有)爬取+数据分析

说明

  • 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2
  • 爬虫框架：webMagic
  • 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/
  • 开发所需jar下载（不包括数据库操作相关jar包）：点我下载
  • 该系列文章会省略webMagic文档已经讲解过的相关知识。

概述

  • 我们会从博客专家首页http://blog.youkuaiyun.com/experts.html#list分析页面，从中到找到所有专家所在的“接口”（需要分析网页源码），从中爬取所用专家用户，保存到本地数据库。
  • 根据专家id也即用户id去爬取他们的博客列表（第二篇文章已经讲解过该部分）。
  • 因为，博客专家是优快云的核心用户，文章相对而言质量也比较高，优先考虑爬取这一部分用户即其文章。
  • 根据博客专家的文章总浏览量、关注数、博文单的阅读数、评论数进行排序，找出“最有价值”的文章以及博客专家。

博客专家爬虫代码预览

package com.wgyscsf.spider;

import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

import com.wgyscsf.utils.MyStringUtils;

/**
 * @author wgy</n> 编写日期 2016-9-24下午7:25:36</n> 邮箱 wgyscsf@163.com</n> 博客
 *         http://blog.youkuaiyun.com/wgyscsf</n> TODO</n>
 */
public class CsdnExpertListSpider implements PageProcessor {
    // 这个是列表页
    public static final String EXPERTS_LIST = "http://blog\\.csdn\\.net/peoplelist\\.html\\?channelid=0\\&page="
            + "\\w+";
    private static final String TAG = "CsdnExpertListSpider";
    // 博客详情页
    // public static final String EXPERTS_DETAILS =
    // "http://blog.youkuaiyun.com/\\w+";// \\w+是一个匹配符，可以匹配任意字段
    private Site site = Site
            .me()
            .setDomain("blog.youkuaiyun.com")
            .setSleepTime(300)
            .setUserAgent(
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");

    @Override
    public void process(Page page) {
        // 列表页： 这里进行匹配，匹配出列表页进行相关处理。
        if ((page.getUrl()).regex(EXPERTS_LIST).match()) {
            // 遍历出div[@class=\"page_nav\"]节点下的所有超链接，这里的超链接是分页的超链接，可以进行分页。
            page.addTargetRequests(page.getHtml()
                    .xpath("//div[@class=\"page_nav\"]").links()
                    .regex(EXPERTS_LIST).all());// 是一个正则规则，校验使用，可以省略。

            // 获取专家列表元素
            Elements expertList_elements = page.getHtml().getDocument()
                    .getElementsByClass("experts_list");

            for (Element element : expertList_elements) {
                // 两个根节点
                Element tag_dt = element.getElementsByTag("dt").get(0);
                Element tag_dd = element.getElementsByTag("dd").get(0);
                // 获取用户id
                String id_expert = MyStringUtils.getLastSlantContent(tag_dt
                        .getElementsByTag("a").get(0).attributes().get("href"));
                // 获取用户头像
                String headImg = tag_dt.getElementsByTag("a").get(0)
                        .getElementsByClass("expert_head").get(0).attributes()
                        .get("src");
                // 获取用户名
                String name = tag_dd.getElementsByTag("a").get(0).text();
                String address_job = tag_dd.getElementsByTag("div").get(0)
                        .text();
                // 获取地址
                String localtion = MyStringUtils
                        .getBeforeVercitalLine(address_job);
                // 获取职位
                String job = MyStringUtils.getAfterVercitalLine(address_job);
                // 获取文章数
                String articleNums = tag_dd.getElementsByTag("div").get(1)
                        .getElementsByTag("div").get(1).getElementsByTag("b")
                        .get(0).text();
                // 获取阅读数
                // TODO:这里逻辑不太对呀，但是结果正确
                String readNums = tag_dd.getElementsByTag("div").get(1)
                        .getElementsByTag("div").get(2).getElementsByTag("b")
                        .get(0).text();

                // 开始组装数据
                System.out.println(TAG + ":" + "专家id:" + id_expert + ",专家名字："
                        + name + ",地区：" + localtion + ",职业：" + job + ",文章总阅读数："
                        + readNums + ",文章数：" + articleNums);

            }

        }
    }
    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new CsdnExpertListSpider())
                .addUrl("http://blog.youkuaiyun.com/peoplelist.html?channelid=0&page=1")
                .addPipeline(null).thread(5).run();
    }

}

关键代码解释

  • 以上代码涉及分页爬虫、jsoup方式解析爬虫、正则匹配，具体请参考前三篇文章。
  • 涉及到一个“接口”"http://blog.youkuaiyun.com/peoplelist.html?channelid=0&page=1"，这个接口是分析博客专家首页http://blog.youkuaiyun.com/experts.html#list网页源码后得到的，极大的方便了博客专家的爬取过程。正是由于有了这个“接口”，才使得爬取博客专家特别方便。

爬取结果预览

这里写图片描述

数据分析

注： 博客专家（全部专家）：1255人，博客总量（部分数据）： 298057，统计时间：10/7/2016 6:28:34 PM

  • 博客专家按博文浏览量排名前十名
总浏览量排名专家Id专家名称地址职位文章量总阅读量博客地址个人中心
1v_JULY_v周磊 15811651669http://blog.youkuaiyun.com/v_JULY_vhttp://my.youkuaiyun.com/v_JULY_v
2luopingfeng罗平峰广东省深圳市 驱动工程师4811335406http://blog.youkuaiyun.com/luopingfenghttp://my.youkuaiyun.com/luopingfeng
3tianlesoftware戴明明杭州 DBA109210306025http://blog.youkuaiyun.com/tianlesoftwarehttp://my.youkuaiyun.com/tianlesoftware
4lmj623565791张鸿洋陕西西安 研究生19510204783http://blog.youkuaiyun.com/lmj623565791http://my.youkuaiyun.com/lmj623565791
5sunboy_2050杨刚北京 高级工程师8649437469http://blog.youkuaiyun.com/sunboy_2050http://my.youkuaiyun.com/sunboy_2050
621aspnet黄鸣 16808816125http://blog.youkuaiyun.com/21aspnethttp://my.youkuaiyun.com/21aspnet
7Luoshengyang罗升阳上海 客户端开发1778643601http://blog.youkuaiyun.com/Luoshengyanghttp://my.youkuaiyun.com/Luoshengyang
8luozhuang罗莊 10917857322http://blog.youkuaiyun.com/luozhuanghttp://my.youkuaiyun.com/luozhuang
9david_lv吕建伟北京北京5147665707http://blog.youkuaiyun.com/david_lvhttp://my.youkuaiyun.com/david_lv
10Augusdi高庆地南京 研发工程师40827327363http://blog.youkuaiyun.com/Augusdihttp://my.youkuaiyun.com/Augusdi

这里写图片描述
* 博客专家按博文创作量排名前十名

总博文量排名专家Id专家名称地址职位文章量总阅读量博客地址个人中心
1yuanmeng001袁萌 40957117504http://blog.youkuaiyun.com/yuanmeng001http://my.youkuaiyun.com/yuanmeng001
2Augusdi高庆地南京 研发工程师40827327363http://blog.youkuaiyun.com/Augusdihttp://my.youkuaiyun.com/Augusdi
3SmartTony邓斌中国上海市 执行董事27923619000http://blog.youkuaiyun.com/SmartTonyhttp://my.youkuaiyun.com/SmartTony
4jdsjlzx李治现北京 Android开发工程师23146496619http://blog.youkuaiyun.com/jdsjlzxhttp://my.youkuaiyun.com/jdsjlzx
5jackyrongvip廖煜嵘广州 IT开发工程师22541287146http://blog.youkuaiyun.com/jackyrongviphttp://my.youkuaiyun.com/jackyrongvip
6shanyou张善友 21721324942http://blog.youkuaiyun.com/shanyouhttp://my.youkuaiyun.com/shanyou
7metababy花纯春成都成都20584456469http://blog.youkuaiyun.com/metababyhttp://my.youkuaiyun.com/metababy
8hu_zhenghui胡争辉 20242492625http://blog.youkuaiyun.com/hu_zhenghuihttp://my.youkuaiyun.com/hu_zhenghui
9sxhelijian贺利坚烟台 教师19784459980http://blog.youkuaiyun.com/sxhelijianhttp://my.youkuaiyun.com/sxhelijian
10matrix67顾森 1899814777http://blog.youkuaiyun.com/matrix67http://my.youkuaiyun.com/matrix67

这里写图片描述
* 博文评论量最多前十名

评论数排名博主id评论数浏览量博文标题博客详情地址发表日期置顶与否
1xiaominghimi984107300 Himi浅谈游戏开发de自学历程！（仅供参考） http://blog.youkuaiyun.com/xiaominghimi/article/details/62490052011/3/14 10:181
2zhmxy555974180921 【Visual C++】游戏开发笔记之一——API函数、DirectX的关键系统 http://blog.youkuaiyun.com/poem_qianmo/article/details/73182642012/3/4 8:591
3yincheng0181019303 年少痴狂，怀恋曾经的创业岁月，语音识别的应用远远未到高潮，本人的软件源码开源，需要的留下Email,我给大家发 http://blog.youkuaiyun.com/itcastcpp/article/details/41464942009/5/3 21:570
4chgaowei78562174 给部分培训学生的建议 http://blog.youkuaiyun.com/chgaowei/article/details/60135542010/11/16 22:490
5wdaming198678491414 Android闹钟最终版【android源码闹钟解析】 http://blog.youkuaiyun.com/wdaming1986/article/details/74610432012/4/14 18:140
6jirigala78043372 技术水平的确很高，正规公司为什么还是不录用这些人(技术水平不高的更不可能) http://blog.youkuaiyun.com/jirigala/article/details/55651582010/5/6 11:020
721aspnet749510256 C#精髓 第四讲 GridView 72般绝技 http://blog.youkuaiyun.com/21aspnet/article/details/15403012007/3/25 4:361
8shimiso74539352 Android精品开源项目整理_V20140221(持续更新中..) http://blog.youkuaiyun.com/shimiso/article/details/197719152014/2/23 22:060
9sinyu89080767694932 历时一年，我的著作《第一行代码——Android》已出版！ http://blog.youkuaiyun.com/sinyu890807/article/details/263659132014/7/17 9:131
10sxhelijian6358933 写给菜鸟：发优快云博文常见问题处理 http://blog.youkuaiyun.com/sxhelijian/article/details/80425072012/10/6 8:080

这里写图片描述
* 博文浏览量最多前十名

浏览数排名博主id评论数浏览量博文标题博客详情地址发表日期置顶与否
1lmj6235657911611528773 Android Https相关完全解析 当OkHttp遇到Https http://blog.youkuaiyun.com/lmj623565791/article/details/481294052015/9/12 11:250
2tingsking1811228563 简单即时贴：python输出A到Z http://blog.youkuaiyun.com/tingsking18/article/details/43304142009/7/8 10:590
3sunboy_2050504831516 Android APK反编译详解（附图） http://blog.youkuaiyun.com/sunboy_2050/article/details/67275812011/8/28 22:420
4luopingfeng1777893 《Linux Device Drivers》第十五章 内存映射和DMA——note http://blog.youkuaiyun.com/luopingfeng/article/details/241739852014/10/9 8:410
5luopingfeng1777855 《Linux Device Drivers》第十六章 块设备驱动程序——note http://blog.youkuaiyun.com/luopingfeng/article/details/241740452014/10/11 16:530
6luopingfeng2777674 《Linux Device Drivers》第八章 分配内存——note http://blog.youkuaiyun.com/luopingfeng/article/details/241735952014/9/28 9:260
7luozhuang28656975 RapeLay（电车之狼R）的结局介绍 (隐藏结局攻略) http://blog.youkuaiyun.com/luozhuang/article/details/25958162008/6/29 14:480
8metababy0630052 时更新　在线观察纸黄金价格 24小时黄金走势图使用现货买入价格 黄金价格历史走势图 全天显示黄金，银，钯 和 铂以及原油期货，美元指数的最新价格 http://blog.youkuaiyun.com/metababy/article/details/14887972007/1/20 21:340
9alex19796338611795 历年奥斯卡获奖影片（1927—2015） http://blog.youkuaiyun.com/oracle_microsoft/article/details/44369742009/8/12 9:041
10t12x345667534164 Android 网络通信框架Volley简介(Google IO 2013) http://blog.youkuaiyun.com/t12x3456/article/details/92216112013/7/2 9:150

这里写图片描述

操作代码

点我下载

个人公众号，及时更新技术文章(请移步公众号，文章会被官方删除)

优快云爬虫（一）——爬虫入门+数据总览
10-01
文章同步：http://blog.csdn.net/wgyscsf
爬虫技术——一篇全搞定！
qq_53914420的博客
04-04 6327
python爬虫技术
超详细 Python 爬虫指南
最新发布
m0_74825488的博客
02-23 1424
抓取的数据可存储到文件（如 CSV、JSON）、数据库（如 MySQL、MongoDB）等介质中，便于后续分析。这时需使用浏览器自动化工具，如 Selenium 或 Playwright。HTML 是网页的主要结构。爬虫通过解析 HTML 提取有用信息，如标题、图片、表格等。使用 BeautifulSoup 提取 HTML 中的内容。有些网页通过 JavaScript 加载数据，指定哪些页面可以被爬取，爬虫需遵守此协议。将数据保存为 CSV 文件。熟练使用代理、延迟和伪装技巧。使用多线程或异步技术（如。
爬虫学习——初步了解爬虫
一个默默无闻的小程序员的博客
07-29 977
最近在学习之余迷上了看电视剧，但是想要看的电视剧又不在同一个APP里，全部充会员也不太现实，所以就想着简单入门一下爬虫，爬取自己想要看的电视剧，让自己的暑假过的更多姿多彩一点！首先我们要先清楚爬虫是什么，百度百科中解释为，爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。浅显一点讲，爬虫就是自动获取网页内容的程序。 ......
爬虫（一） -- 带你了解爬虫最基本概念，一文即可实践
qq_54015136的博客
03-29 3087
一文了解爬虫的最基本常识，让小白轻松入门，直接实践
爬虫基础篇
m0_71422677的博客
04-20 618
获取网页源代码、状态码、爬虫乱码、User-Agent、 encoding 参数、UTF-8
博客专家(所有)爬取+数据分析
10-07
标题 "博客专家(所有)爬取+数据分析" 暗示了这个项目涉及网络爬虫技术，特别是针对优快云（中国最大的开发者社区）上的博客专家进行数据抓取，并对获取的数据进行分析。这里，我们主要关注两个核心知识点：WebMagic...
pyhton爬虫：三种爬取csdn首页所有文章的方法
01-20
1. 爬取csdn首页所有文章 1.1 方法1 import urllib.request import re\nurl='http://blog.csdn.net/' #伪装浏览器 headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like ...
优快云爬虫（二）——博客列表分页爬虫+数据表设计
10-05
在本篇中，我们将深入探讨如何使用WebMagic这个强大的Java爬虫框架来实现对优快云博客列表的分页爬取，并设计合适的数据表来存储爬取到的信息。WebMagic是一个开源的爬虫框架，它简化了网页抓取的流程，使得开发者能够...
优快云爬虫（二）——博客列表分页爬虫+数据库设计
10-05
在IT行业中，网络爬虫是数据获取的重要工具，特别是在大数据分析和信息挖掘领域。本篇文章主要探讨了如何使用WebMagic库构建一个优快云博客列表的分页爬虫，并涉及到了数据库的设计。WebMagic是一个开源的Java爬虫框架...
python爬虫详解
热门推荐
优快云_430422的博客
05-25 3万+
早在1989年，网络发明人蒂姆·伯纳斯 - 李（Tim Berners-Lee）就提出了网站的三大支柱：1）URL ,跟踪Web文档的地址系统2）HTTP，一个传输协议，以便在给定URL时查找文档3）HTML, 允许嵌入超链接的文档格式Web的最初目的是提供一种简单的方式来访问，阅读和浏览文本文档。从那时起，网络已经发展到提供图像，视频和二进制数据的访问，但是这些改进几乎没有改变三大支柱。在Web之前，很难访问文档并从一个文档跳转到另一个文档。
Python实用技术——爬虫（一）：爬虫基础
喜欢吃豆的博客
05-05 1万+
这一章主要讲了讲要学习爬虫之前，我们先要了解的网页知识，以便于后面的学习。
python爬虫爬取优快云文章，一文详解
qq_58071132的博客
03-21 718
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
MZH
03-22 1660
『scrapy爬虫』10. 实战爬取自己的csdn信息（详细注释步骤）
优快云爬虫（五）——优快云用户(所有)爬取+常用爬虫正则整理
高远的博客
10-17 1万+
优快云爬虫（五）——优快云用户(所有)爬取+常用爬虫正则整理说明 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2 爬虫框架：webMagic 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/ 开发所需jar下载（不包括数据库操作相关jar
爬虫入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
wly55690的博客
07-05 6238
相比其他静态编程语言（如java、c#与c++）Python抓取网页文档的接口更简洁，而对比其他动态脚本语言（如perl，shell）Python的urllib包提供了较为完整的访问网页文档的API。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
[Python学习] 简单爬取优快云下载资源信息
weixin_33721344的博客
07-21 748
这是一篇Python爬取优快云下载资源信息的例子，主要是通过urllib2获取优快云某个人所有资源的资源URL、资源名称、下载次数、分数等信息；写这篇文章的原因是我想获取自己的资源所有的评论信息，但是由于评论采用JS临时加载，所以这篇文章先简单介绍如何人工分析HTML页面爬取信息。源代码# coding=utf-8 import...
Nutch爬虫成功爬取优快云数据关键信息分析
在讨论 Nutch 爬虫时，提及 "csdn" 暗示了使用 Nutch 对 优快云 这样的网站进行数据抓取的场景。 综上所述，Nutch 爬虫是一种强大的网络数据采集工具，可以高效地从互联网上抓取所需数据，包括 优快云 这样的技术社区。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值