爬虫（java+jsoup）

最新推荐文章于 2025-09-08 16:00:16 发布

转载最新推荐文章于 2025-09-08 16:00:16 发布 · 6.7k 阅读

大数据专栏收录该内容

52 篇文章

订阅专栏

本文详细介绍使用Jsoup模拟登录GitHub的过程，包括分析提交表单、利用Firebug抓取POST数据包，以及如何通过Java代码实现整个登录流程。

本文转载自：点击打开链接

本篇文章是利用Jsoup模拟登陆GitHub。这里仅限交流学习用，如利用代码进行恶意攻击他网站，和作者无关 ^ ^！

开始前准备:

Stept 1)：安装一个火狐/google的Chrome浏览器，作用是利用Firebug插件进行分析提交协议，虽然IE从7开始也有了类似的功能，但毫无疑问仍然没有火狐和Chrome好用。

Firefox和firebug百度网盘资源：点击打开链接，密码：点击打开链接

Stept 2)：构建一个Jsoup项目，普通的java项目即可，并且导入Jsoup的Jar包。如果还不了解Jsoup是什么的，请参照文章：「Jsoup到底是什么」如果是Maven项目就可以直接在pom.xml中引入Jsoup即可，也可以参照另一篇文章：「模拟浏览器：get方式简单获取网页数据（一）」

Stept 3)：分析提交表单，以便我们确定两件重要的事情「重要」：

所有请求的表单参数
哪些表单数据需要被提交

下面的是github登陆的界面及form：

这里注意图中的几个重要信息：其中form标签中的action属性代表表单数据最终会提交到哪里（可以在下面代码中第二次提交的代码块中看到该地址）action="/session"，另外需要关注表单中所有被提交的input标签，这里更重要的是hidden属性的input，这种隐藏的input就是一种防爬虫机制，它类似一种web的流水号，你在提交表达的时候带有这个流水号，才能证明用户真正的进入了webflow流程，如果带有一个错误的，或者不带有这个流水号，那么网站会认为用户非法进入了webflow流程（被认为是机器人/爬虫），类似我们去医院看病前需挂号一样。

Stept 4)：利用Firebug抓取post提交的数据包，来确认最终模拟提交的参数「重要」：

下面的是Firebug的抓取界面（先在火狐浏览器安装Firebug插件后，按F12呼出，点击网络Net，在登陆界面填写用户名密码，点击登陆按钮，在Firebug中找到第一个提交方式Method为POST的请求）：

同样在Firebug抓取界面也要注意几个重要信息：1).注意URL,可以确定该URL和表单的action值对应，即为最终表达提交地址。2).注意Post值，可以确定该列表值与表单中input值对应相等。3).其他信息:点击图中Headers可以看到相关其他信息，比如header值，cookies相关，reference等，有的时候模拟登陆的时候这些值都需要一并提交过去

代码实现：一旦post提交参数及最终提交的URL地址确定后，就可以利用Jsoup进行模拟登陆，代码如下：

/** 
 * GITHUBLoginApater.java 
 * 
 * Function：Jsoup model apater class. 
 * 
 *   ver     date           author 
 * ────────────────────────────────── 
 *   1.0     2017/06/22     bluetata 
 * 
 * Copyright (c) 2017, [https://github.com/] All Rights Reserved. 
 */  
package com.datacrawler.service.model.github.com;  
  
import java.util.HashMap;  
import java.util.List;  
import java.util.Map;  
  
import org.jsoup.Connection;  
import org.jsoup.Jsoup;  
import org.jsoup.Connection.Method;  
import org.jsoup.Connection.Response;  
import org.jsoup.nodes.Document;  
import org.jsoup.nodes.Element;  
  
/** 
 * @since      crawler(datasnatch) version(1.0)</br> 
 * @author     bluetata / dietime1943@gmail.com</br> 
 * @reference  http://blog.youkuaiyun.com/dietime1943/</br> 
 * @version    1.0</br> 
 */  
public class GITHUBLoginApater {  
  
    public static String LOGIN_URL = "https://github.com/login";  
    public static String USER_AGENT = "User-Agent";  
    public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";  
      
    public static void main(String[] args) throws Exception {  
  
        simulateLogin("bluetata", "password01234"); // 模拟登陆github的用户名和密码  
  
    }  
  
    /** 
     * @param userName 用户名 
     * @param pwd 密码 
     * @throws Exception 
     */  
    public static void simulateLogin(String userName, String pwd) throws Exception {  
  
        /*  
         * 第一次请求  
         * grab login form page first 
         * 获取登陆提交的表单信息，及修改其提交data数据（login，password） 
         */  
        // get the response, which we will post to the action URL(rs.cookies())  
        Connection con = Jsoup.connect(LOGIN_URL);  // 获取connection  
        con.header(USER_AGENT, USER_AGENT_VALUE);   // 配置模拟浏览器  
        Response rs = con.execute();                // 获取响应  
        Document d1 = Jsoup.parse(rs.body());       // 转换为Dom树  
        List<Element> eleList = d1.select("form");  // 获取提交form表单，可以通过查看页面源码代码得知  
  
        // 获取cooking和表单属性  
        // lets make data map containing all the parameters and its values found in the form  
        Map<String, String> datas = new HashMap<>();  
        for (Element e : eleList.get(0).getAllElements()) {  
            // 设置用户名  
            if (e.attr("name").equals("login")) {  
                e.attr("value", userName);  
            }  
            // 设置用户密码  
            if (e.attr("name").equals("password")) {  
                e.attr("value", pwd);  
            }  
            // 排除空值表单属性  
            if (e.attr("name").length() > 0) {  
                datas.put(e.attr("name"), e.attr("value"));  
            }  
        }  
  
        /* 
         * 第二次请求，以post方式提交表单数据以及cookie信息 
         */  
        Connection con2 = Jsoup.connect("https://github.com/session");  
        con2.header(USER_AGENT, USER_AGENT_VALUE);  
        // 设置cookie和post上面的map数据  
        Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)  
                                .data(datas).cookies(rs.cookies()).execute();  
        // 打印，登陆成功后的信息  
        // parse the document from response  
        System.out.println(login.body());  
  
        // 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可  
        Map<String, String> map = login.cookies();  
        for (String s : map.keySet()) {  
            System.out.println(s + " : " + map.get(s));  
        }  
    }  
}

最后运行返回的html即为，github成功登陆后的个人仓库相关更新信息，以此可以判断是否登陆成功，如果不成功则还停留在登陆界面。

成功后打印的cookies信息：

user_session : xkXvNQyNzKFTrBMtbXdieZ29FtimemTz1943fAmo7w4xOSK  
__Host-user_session_same_site : xkXvNQyNzKFTrBluetataXWvhdLmkYmTzblueqfAmo7w4xOSK  
_gh_sess : eyJsYXN0X3dyaXRlIjoxNDk4MTEyODQ5NDQ1LCJmbGdie=I6eyJtimeNjYXJkIj1943Wx5dGljc19kpb24iLCJhbmFseXRpY3NfbG9jYXRpb24iXSwiZmxhc2hlcyI6eyJhbmFseXRpY3NfZGltZW5zaW9uIjp7Im5hbWUidietime1943lbnNpb241IiwidmFsdWUiOiJMb2dnZWQgSW4ifSwiYW5hbHl0aWNzX2xvY2F0aW9uIjoiL2Rhc2hib2FyZCJ9fSwic2Vzc2lvbl9pZCI6IjFkNGQ1MWE3NmM4MzU5MTUzbluetataxZGzgzIiwiY29udGV4dCI6Ii8ifQ%3D%3D--af5c70cdfbluec01be903dtata083ce2e53eb  
logged_in : yes  
dotcom_user : bluetata