yuanzhoulvpi的博客

今日R语言积累今天帮别人写个爬虫，爬cnn的文章内容以及包括作者。尝试了很多方法，从只是单纯的静态爬取到使用Rsenlenium爬取，再到phantomjs。中间也遇到很多问题。最后还是再phantomjs的帮助下解决了。这个中间遇到很多坑，比如在打开cnn网页的时候，使用rvest根本不行，什么内容都下载不了。使用Rsenlenium的时候，cnn网页有时候会跳出填写邮箱、有时候会跳出接受...

R爬取动态网络曾经以为R只用rvest就可以走天下，结果越来越不行，很多R语言书，都是只介绍R这个一语言，但是往往很多情况下，解决不了问题，今天，在JavaScript的帮助下，我们可以爬取动态网站。比如中国隐含保险监督管理委员会的这个文章：http://www.cbirc.gov.cn/cn/view/pages/ItemDetail.html?docId=843851&itemId=...