(反反爬虫)携程酒店的eleven

本文分享了使用Python和Selenuim进行携程酒店爬虫的实践经验,重点介绍了如何处理JavaScript动态加载的数据,通过复现专家代码,解析了关键的JS函数作用,强调了处理JS对于爬虫的重要性。

关于携程酒店的爬虫,网上有很多,我仔细看了下,大概的分成了两派:selenuim与python执行JS,夹生饭大佬在知乎的专栏中也讲述的很清楚了,我不想再复刻他的文章了,而且我在github中也找到了开源项目针对携程酒店的,链接点击这里,我在复现夹生饭大佬代码的过程中始终有一段代码没找到

callback = """
        var callback = function() {
        for (var t = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z"], o = "CAS", n = 0; n < 15; n++) {
            var i = Math.ceil(51 * Math.random());
            o += t[i]
        }
        return o
        };
            """

 在网上别人展示出来的代码中也没有取讲解这个函数是在那找到的。不过就像夹生饭大佬说的一样,获取到数据才是关键!

点评一下复现的过程,处理JS真的是一个需要经验的活,还不懂这一块,就需要花时间去补。以后会更多的爬类似的网站,自己也希望出类似的教程!

 

转载于:https://www.cnblogs.com/pontoon/p/10506005.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值