pathon爬数据和采集工具(如八爪鱼)爬数据的应用场景------R

1.python的requests和BeautifulSoup已经满足了大部分的爬虫需求，但仅限于一些不是动态加载的数据，怎么判断是否是动态加载的数据？利用requests.text获取html源码，所需的数据在控台上显示了，就不是动态数据，就可以用requests和BeautifulSoup这个包来爬去数据；如果是没有在控台显示，那就就是动态加载的数据，要打开网页了才能获取到想要的数据，虽然python也提供了一些包来解决这些动态加载的数据，但是还是不是很方便，不过市面上已经出现了很多优秀的采集软件，比如我常用的采集神器–八爪鱼，它就非常方便的解决了动态加载的数据和需要登陆，需要验证的一些情况，只需要自己配置一些规则，就可以非常方便的获取想要的数据。

所以，根据自己的情况选择合适的爬虫工具可以高效的爬取数据。