qq_22808061的博客

python3爬虫的简单使用一、前言首先我现在从事的工作不是程序员，为什么要写这一篇粗略的爬虫使用呢，因为我在工作中确实需要使用到这个，可以为我省去不少麻烦。对于给定项目资料，知道项目编号或者项目名称，可以在网页上查询出项目金额和项目经理是谁，10条数据还行，但是如果有100条数据，一个个复制粘贴到网页上查询，这个工作量就很大了，所以如果用爬虫去批量读取和返回数据，可以大大减少我的工作量。注意，我不会去详细的解释原理，因为我自己也是半吊子，我只注重实用性。首先确保你有一定的python编程基础，本

有道云翻译链接https://fanyi.youdao.com/通过抓包发现Post的信息为其中salt,sign,lts,bv就是反爬虫机制，每次信息不同。打开开发者工具-network，可以看到js文件，转换下格式，关键字搜索，可以查到这个四个参数。稍微梳理下，bv值是固定的，通过md5加密，navigator.appVersion就是浏览器的user-agent，ts是时间戳，salt也算是时间戳，sign也是md5加密，key是要查询的单词。bv= n.md5(navigator.a