菜的抠脚弟弟的专栏

java爬虫实战（2）：下载沪深信息科技类上市公司年度报告*本实战仅作为学习和技术交流使用，转载请注明出处；本篇实战来源于一位朋友需要进行学术研究，涉及数据内容是2010年-2016年的沪深主板上市信息科技类公司年报，由于并没有现成的数据源，百度之后发现“巨潮咨询网（http://www.cninfo.com.cn/）”中含有所需信息，但需要自己手动下载，工程量大。因此，程序作为提高效率的工具，它的

java爬虫实战（1）：抓取新闻网站中的图片和文件并保存至本地本实战仅作为学习和技术交流使用，转载请注明出错；本实战中的代码逻辑编写参考《自己动手写网络爬虫》一书，本书提供的章节源码由于是第一篇实战，因此此处将较为详细的从基础讲解java爬虫原理及相关实现技术。java爬虫实战1抓取新闻网站中的图片和文件并保存至本地网页抓取基础HttpClient正则表达式HtmlParser实战抓取信息

JS渲染引擎比较HtmlUnit/Selenium/PhantomJs现如今的爬虫再也不是简单的爬取静态页面，解析Html文本这么简单，许多单页面应用，异步请求调用，页面初始化js渲染等技术的使用，使得传统的通过发起http请求获得的Document无法直接使用。因此，基于实际业务需求，在爬取某电商平台数据时，发现其页面特定位置为js渲染，固此，由此一文，基于实际代码测试，分析HtmlUnit/Se

java爬虫实战（3）：网易云音乐评论，歌曲，歌单，歌词下载*本实战仅作为学习和技术交流使用，转载请注明出处；本篇实战来源于自己的一个idea:收集歌曲的歌词以及热门的比较有情调的网友的歌曲点评作为基础数据集，希望能够结合机器学习和深度学习技术打造一款能够自己写诗的机器人。java爬虫实战3网易云音乐评论歌曲歌单歌词下载网易云音乐接口API分析截止20170601程序设