java 使用htmlunit模拟登录爬取新浪微博页面

最新推荐文章于 2023-09-28 15:05:32 发布

原创

最新推荐文章于 2023-09-28 15:05:32 发布 · 1.6w 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#java 爬取新浪微博

本文介绍如何使用Java结合htmlunit库模拟登录新浪微博，并抓取所需页面内容。通过正则表达式提取关键信息。

import java.io.IOException;
import java.net.MalformedURLException;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlInput;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class SinaLoginTest {
   public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException, InterruptedException {
       WebClient client = new WebClient(BrowserVersion.FIREFOX_24);
       client.getOptions().setJavaScriptEnabled(true);    //默认执行js，如果不执行js，则可能会登录失败，因为用户名密码框需要js来绘制。
       client.getOptions().setCs