u014792378的博客

快手接口返回的图片为kpg格式，是快手的自定义格式 可以通过代码转换成常用图片格式。

WIPO全球商标检索接口破解背景过程背景同事想要把WIPO的查询功能做到程序里，但是接口参数是加密过的，不知如何模拟封包。过程进搜索页，打开F12 我们搜索一下奔驰(benz),发现产生了一个POST请求https://www3.wipo.int/branddb/jsp/select.jsp并携带了一个名为qz的base64加密串，且response里包含了查询结果。那可以确定刚发送的查询参数benz应该就在这个字符串里。尝试直接解码base64加密串

文章目录背景介绍方案选择出现的问题及解决方案问题一 验证码问题二 代理带宽不够问题三 防止过快被服务器标记问题四解释总结背景介绍公司在各电商平台(亚马逊/沃尔玛/Ebay/京东国际/速卖通)有大量商品，但是没有一个能聚合各商品的排行的工具或功能。现需开发一个每月统计商品排行的功能，供公司数据决策做参考。对上述5个平台了解后发现只有亚马逊有提供精准排行数据，其他平台如必须则只能通过在指定商品分类的列表页去搜索该商品 才能得知排行，商量后觉得这种方式不可取，所以暂时只抓取亚马逊的排行数据，星级/评论数为

文章目录JAVA selenium跳过浏览器对爬虫检测执行cdp命令pom配置滑块验证码JAVA selenium跳过浏览器对爬虫检测随着爬虫程序越来越多，服务器端的防护意识也逐步增强，站点不仅对接口加密，更是在浏览器端做多重防护，如对selenium的检测。部分站点会在在前端js检测window.navigator是否包含webdriver属性，selenium启动chrome时会默认注入该字段为true，这时我们需要做的是在driver打开网页之前使该字段无效执行cdp命令chromeDr