陈伟的博客

最近在实现爬虫抓取新闻网站。使用Spring Batch来管理定时和跑批任务。从《自己动手写网络爬虫》学习了大量的理论和实践知识。1、目前痛点1）客户给定了16个网址，我们还只支持到7个。2）客户对每个网址，要求抓取的内容栏目有多个，而我们只抓取了一个。3）新闻发布时间未抓取到，反而将抓取时间作为了新闻发布时间，导致客户几乎找不到指定的新闻。4）新闻内容只能抓取正文，无法控制表格、图片、视频、音频...

[ERROR] [12:32:01] org.springframework.web.servlet.DispatcherServlet - Context initialization failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'shiroFilter'...