
Java爬虫
文章平均质量分 85
基于Java技术栈,使用selenium、Jsoup框架、Chrome webDriver,去获取互联网上的数据。
青花锁
大吉大利,青花科技
展开
-
[Selenium] 通过Java+Selenium查询某个博主的Top100文章质量分
大家好,我是青花,本篇给大家分享一下《通过Java+Selenium查询某个博主的Top100文章质量分》,针对上一章[Top40文章](https://blog.youkuaiyun.com/s445320/article/details/131368665),做了简单的优化,在查询博客质量分的时候,控制了频繁的开关Chrome浏览器,避免了重复的加载Chrome驱动以及打开Chrome浏览器。**备注:** 在上章节里,加载100文章,在50-60文章数时,就会被限制访问。原创 2023-06-27 00:56:25 · 749 阅读 · 27 评论 -
[Selenium] 通过Java+Selenium查询某个博主的Top40文章质量分
通过Java+Selenium查询某个博主的Top40文章质量分至此结束,优化空间还有很大,以实现效果为主。文章里对图片进行了紧张加载处理,性能提升显著。原创 2023-06-25 01:22:55 · 460 阅读 · 9 评论 -
[Selenium] 通过Java+Selenium查询文章质量分
大家好,我是青花,本篇给大家分享一下《通过Java+Selenium查询文章质量分》原创 2023-06-23 08:42:36 · 1809 阅读 · 29 评论 -
【在线商城系统】数据来源-爬虫篇
偶尔突发奇想,想做一个Springboot单体架构的商城系统,其中设计带有首页轮播图、分类商品展示、推荐商品展示、搜索商品展示。那么问题来了,我们如何让展示的商品数据生动有趣,达到京东、淘宝、拼多多真实商品的展示效果呢?原创 2023-06-22 00:48:46 · 1879 阅读 · 8 评论 -
Java爬虫第五篇:使用selenium、Jsoup 抓取bing搜索图片
通过自动化工具selenium模拟人工浏览bing搜索图片页面,提取出关键词,抓取图片缩略图保存到本地。原创 2023-05-23 10:39:34 · 544 阅读 · 1 评论 -
Java爬虫第四篇:使用selenium、Jsoup 抓取图片
通过自动化工具selenium模拟人工浏览器行为,并捕获到html代码,并用Jsoup 处理html代码,提取出其中的图片数据。原创 2023-05-23 10:04:52 · 734 阅读 · 0 评论 -
Java爬虫第一篇:准备 chromedriver与chrome
chromedriver与chrome各版本及下载地址记录下使用Selenium时,遇到的chromedriver版本问题。概述我们做自动化的时候如果用的是selenium,首先要解决的就是下载不同浏览器的驱动,目前的浏览器驱动都是由各大浏览器厂商自己更新提供。运行selenium自动化脚本报错如下:org.openqa.selenium.WebDriverException: unkn...原创 2019-04-16 09:25:09 · 1753 阅读 · 1 评论 -
Java爬虫第二篇:模拟登录优快云
Java爬虫第二篇:模拟登录优快云概述本章讲解模拟登录优快云。由于优快云登录页面加入扫码登录,不能直接获取到账号登录页面,因此需要在页面执行动作,切换到账号登录操作。1. selenium maven配置 <dependency> <groupId>org.seleniumhq.selenium</groupId> ...原创 2019-04-19 16:14:28 · 962 阅读 · 6 评论 -
Java爬虫第三篇:使用Jsoup 抓取文章
Java爬虫第三篇:使用Jsoup 抓取文章概述本章讲解Selenium模拟登录优快云之后,使用Jsoup 抓取文章。1. Jsoup maven配置 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dependency> <groupId&...原创 2019-04-19 17:35:50 · 883 阅读 · 0 评论