使用SpringBoot + selenium-java 做爬虫
题记 最近发现了springboot本身就集成了selenium-java ,就拿来研究了一下,分布式爬虫是很大的一个架构,也比较复杂,没做研究,还是对爬虫的客户端实现有点兴趣,就想着用java做一个小爬虫客户端,其实selenium是做测试的,不过来拿来做小爬虫还是不错的,能真实模拟用户,不用担心异步加载爬取不到,还有一些元素获取不方便,更值得一提的是selenium-java 提供的元素获取的...
原创
2019-05-09 16:20:52 ·
7274 阅读 ·
2 评论