
携程去哪儿机票数据爬虫
文章平均质量分 67
ctrip.com和qunar.com中机票数据获取,包含国内和国际机票,来源于pc网页版和h5移动版。
lootaa
来自第六宇宙的洛塔博士
展开
-
去哪儿网网页版机票数据添加代理
代理ip选择本篇使用的代理选择了青果网络的,原因是他们家有2个小时的免费测试账号。本篇使用的是隧道代理,没有添加白名单,而是使用的账号密码方式。代理准备需要新建两个文件。background.js内容如下(username和password需要替换为自己代理ip的账号密码)function callbackFn(details) { return { authCredentials: { username: "7D36CA86",原创 2021-12-05 20:28:47 · 647 阅读 · 0 评论 -
携程手机版机票数据添加代理
原因不使用代理,访问速度稍微快一些,携程就会提示验证码或者滑块。弊端携程端应该是已经将足够多的代理ip加入了黑名单,或者蜜罐。测试使用代理的时候,有些代理返回的数据明显不正常,而且比例不低。索性本篇仅作为技术探讨,影响不大。代理ip选择本篇使用的代理选择了青果网络的,原因是他们家有2个小时的免费测试账号。测试结果自然是好多好多ip已经被携程拉黑了,返回的都是空数据。所以如果要成功率高一些的数据,需要看看其他家的(比如阿布云?)代码步骤添加代理 private static final Str原创 2021-12-04 23:26:58 · 1160 阅读 · 3 评论 -
去哪儿网网页版机票数据
选型请求参数中,有pre、_m_等,需要进行js破解,难度较大,尝试了两次失败了,换方式。使用selenium抓取网页数据。首选需要下载chromedriver,根据chrome的版本进行选择。链接地址:http://chromedriver.storage.googleapis.com/index.html如果选择的版本错误,运行的时候控制台也会打印正确的版本,重新下载替换即可。概述去哪儿网网页版机票查询的网址是https://flight.qunar.com/本篇使用成都到北京的航线进行测试原创 2021-12-03 22:19:59 · 1308 阅读 · 0 评论 -
去哪儿网手机版机票数据
选型请求参数中,有pre、_m_等,需要进行js破解,难度较大,尝试了两次失败了,换方式。使用selenium抓取网页数据。首选需要下载chromedriver,根据chrome的版本进行选择。链接地址:http://chromedriver.storage.googleapis.com/index.html如果选择的版本错误,运行的时候控制台也会打印正确的版本,重新下载替换即可。概述去哪儿网手机版机票查询的网址是https://m.flight.qunar.com/h5/flight/本篇使用原创 2021-12-01 01:51:45 · 727 阅读 · 0 评论 -
携程网页版国际机票数据
概述携程网页版机票查询的网址是https://flights.ctrip.com/本篇使用北京到首尔的数据。请求分析查看network,可以很容易找到请求地址是https://flights.ctrip.com/international/search/api/search/batchSearch其中,headers里面有两个略微复杂的请求参数,transactionid 和 sign,这两个参数拿到后即可直接post请求。其实,国内机票和国际机票查询的居然是同一个地址。transaction原创 2021-11-27 22:54:52 · 1018 阅读 · 0 评论 -
携程网页版国内机票数据
概述携程网页版机票查询的网址是https://flights.ctrip.com/本篇使用北京到成都的数据。请求分析查看network,可以很容易找到请求地址是https://flights.ctrip.com/international/search/api/search/batchSearch其中,headers里面有两个略微复杂的请求参数,transactionid 和 sign,这两个参数拿到后即可直接post请求。transactionid获取这个可以通过网络请求直接获取到,比如北京原创 2021-11-27 22:06:44 · 1215 阅读 · 0 评论 -
携程手机版国际机票数据
概述携程网页版机票查询的网址是https://m.ctrip.com/html5/flight/本篇使用北京到曼谷的航线进行测试。请求分析浏览器network中可直接查看到请求和响应结果。请求使用的是get方式,请求参数放于requestBody中(urlencode加密):https://m.ctrip.com/restapi/soa2/13212/sse/index?requestBody=%7B%22preprdid%22%3A%22%22%2C%22trptpe%22%3A1%2C%22f原创 2021-11-27 00:36:04 · 1731 阅读 · 0 评论 -
携程手机版国内机票数据
概述携程网页版机票查询的网址是https://m.ctrip.com/html5/flight/本篇使用天津到石家庄的航线进行测试。请求分析浏览器network中可直接查看到请求和响应结果。请求:https://m.ctrip.com/restapi/soa2/14022/flightListSearch?_fxpcqlniredt=09031039219678951998请求体:{“preprdid”:"",“trptpe”:1,“flag”:8,“searchitem”:[{“dccode”原创 2021-11-27 00:11:07 · 5011 阅读 · 1 评论