Java开源爬虫框架WebCollector—爬取新浪微博

最新推荐文章于 2025-07-01 09:10:36 发布

原创

最新推荐文章于 2025-07-01 09:10:36 发布 · 9.3k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #新浪微博 #Webcollect

本教程给出了一个使用WebCollector模拟登陆并爬取新浪微博的示例.登录过程中会出现验证码.如图所示：
这里写图片描述
1.依赖jar包：
本教程需要两套jar包，WebCollector核心jar包和selenium的jar包。
WebCollector最新jar包可在WebCollector github主页下载。
selenium的maven依赖：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>2.44.0</version>
</dependency>

或者在百度网盘中链接：http://pan.baidu.com/s/1dE9af3z 密码：4z2d
这里写图片描述
2.代码：
（1）利用Selenium获取登陆新浪微博weibo.cn的cookie(WeiboCN.java)
（2）利用WebCollector和获取的cookie爬取新浪微博并抽取数据(WeiboCrawler.java)
WeiboCN.java

package cn.edu.hfut.dmic.contentextractor;
import cn.edu.hfut.dmic.webcollector.net.HttpRequest;
import cn.edu.hfut.dmic.webcollector.net.HttpResponse;
import java.io.ByteArrayInputStream;
import java.io.File;
import java.util.Set;
import javax.imageio.ImageIO;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.htmlunit.HtmlUnitDriver;

import java.awt.BorderLayout;
import java.awt.Container;
import java.awt.Dimension;
import java.awt.Graphics;
import java.awt.Toolkit;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.awt.image.BufferedImage;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;
import javax.swing.JTextField;