java+selnium爬取凡人修仙传

最新推荐文章于 2024-07-27 22:15:26 发布

原创最新推荐文章于 2024-07-27 22:15:26 发布 · 812 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

java 专栏收录该内容

0 篇文章

订阅专栏

这篇博客介绍了如何利用Java和Selenium Webdriver爬取网络小说《凡人修仙传》的内容。作者通过示例代码展示了如何定位章节链接、切换页面以及验证页面内容，实现了对小说的连续两章的抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近无聊，就用java爬了下凡人修仙传的内容，具体不多说，看代码图
package testNG;
//连续两章读取根据xpath中
//根据参数读取

import static org.junit.Assert.assertTrue;

import java.sql.Driver;
import java.util.List;
import java.util.concurrent.TimeUnit;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.testng.annotations.AfterMethod;
import org.testng.annotations.BeforeMethod;
import org.testng.annotations.Test;

public class NewTest {
WebDriver driver;

public void begin() {
// 第一个页面
driver.findElement(By.id(“kw”)).sendKeys(“凡人修仙传”);
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);
driver.findElement(By.id(“su”)).click();
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);
driver.findElement(By.xpath("//[@id=‘7’]/h3/a")).click();
/
WebElement zhang=driver.findElement(By.xpath("//*[@id=‘list’]/dl/dd"));
System.out.println(zhang);
for (WebElement a: zhang){
System.out.println(a.getAttribute(“href”));//获取标签路径

  }
  */

}

public static int pageone=500;

public static int pagetwo=501;
// int array[]=[];
public void one(){
begin();
// 第二个页面
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);
// 转换窗口
tiaozhuan();
// 与当前页面作比较是就跳过执行
driver.findElement(By.xpath("//*[@id=‘list’]/dl/dd["+pageone+"]/a")).click();
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);

// 获取页面源代码断言出现文字
String b=driver.getPageSource();
assertTrue(b.contains(“修真小说”));
// 跳转页面
WebElement a=driver.findElement(By.id(“content”));
System.out.println(a.getText());

}

@Test
public void two(){
one();
// 跳转第一个界面
driver.findElement(By.xpath("//[@id=‘wrapper’]/div[4]/div/div[1]/a[3]")).click();
// tiaozhuan();
driver.findElement(By.xpath("//[@id=‘list’]/dl/dd["+pagetwo+"]/a")).click();

  driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);

// 转换窗口
//tiaozhuan();
// 与当前页面作比较是就跳过执行
//driver.findElement(By.xpath("//*[@id=‘list’]/dl/dd[1]/a")).click();
//driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);

}

@BeforeMethod
public void beforeMethod() {
System.setProperty(“webdirver.chrome.driver”, “C://chromedriver.exe”);
driver=new ChromeDriver();
driver.get(“http://www.baidu.com”);

}

@AfterMethod
public void afterMethod() {
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);
driver.quit();
}

public void tiaozhuan(){
String handle=driver.getWindowHandle();
for(String handles :driver.getWindowHandles()){
if(handles.equals(handle)){
continue;
}
driver.switchTo().window(handles);
}
driver.manage().timeouts().implicitlyWait(1000, TimeUnit.SECONDS);

}