
爬虫
文章平均质量分 69
赵清河
这个作者很懒,什么都没留下…
展开
-
百度翻译js加密逆向解析以及自动检测语言
js逆向解析需要了解chrome调试工具以及断点测试以及简单的js代码1,f12打开开发者工具,找到post请求的包v2transapi,找到post表单也就是from data2,再输入一个新的词语进行翻译,查看data的变化,可知只有query和sign变化,因此了解sign是通过js函数加密的 我们需要找到此函数进行解析3,搜索含有v2transapi的文件,找到index.js,搜索sign发现 sign是通过y函数生成,因此我们需要找到y函数4,使用断点测试 再输入一个词语 找到y原创 2020-08-17 10:19:16 · 1491 阅读 · 0 评论 -
使用python爬取淘宝商品信息
使用python爬虫爬取淘宝商品信息使用的模块主要有 selenium ,time , re,from selenium import webdriverimport timeimport csvimport redef search_product(key): driver.find_element_by_id('q').send_keys(key) # key为传的形参 driver.find_element_by_class_name("btn-search").cl原创 2020-07-24 14:53:16 · 2005 阅读 · 0 评论 -
使用爬虫的scrapy框架爬取百度贴吧某个贴吧每个帖子的数据
scrapy为爬虫框架 通过框架更加效率的提取数据 使用scrapy框架时 只需要 通过正则 或者xpath 提取想要爬取的数据首先安装 scrapy 模块 使用命令行 pip install scrapy 如果安装失败 则使用其他方法安装 在其他文章里面有详细介绍再创建一个 项目 先cd到所需文件夹 scrapy startproject teiba 再创建一个爬虫 先cd到所建项目 cd teiba scrapy genspider tb tieba.baidiu.com原创 2020-07-05 22:14:48 · 2271 阅读 · 2 评论