ybsde博客

有时间了打算把有道、百度、Google翻译都搞一遍，填坑百度翻译这篇与有道那篇操作基本一致，有可能写的没有那篇清楚，大家也可以观摩一下上一篇【2019.05】JS逆向——破解有道翻译爬虫参数（sign）一、分析请求参数打开地址：https://fanyi.baidu.com/打开Chrome调试工具，然后随意输入一段文字，查看抓包结果。post请求Form data 参...

有时间了打算把有道、百度、Google翻译都搞一遍，今天先试水有道翻译打开地址：http://fanyi.youdao.com/1. js逆向分析打开Chrome调试工具，然后随意输入一段文字，查看抓包结果。发现是 post 请求Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&s...

引言周末的早上，那谁谁谁发来问候，说她们有一个大作业的问卷在评分的时候遇到了问题，不知道如何使用Excel给多选题评分,让我帮忙看看，我心里慌的一批（Excel我也不会啊），但表面很镇定镇定（我厉害的很），你把要求发过来我看看。要求挺简单，但是我百度之后对 Excel 的操作仍然一头雾水，想起我的本行。处理Excel，我当然可以用python中的pandas库。以下：使用 pyt...

好羞耻啊今天520，晚上写程序(*￣︶￣)结果打包安装pip install pyinstaller在当前py文件目录下执行：pyinstaller.exe -F baibai.py代码：#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019/5/20 21:12# @Author : Pa...

PyEcharts教程有很多，但很多都是0.5版本的官方提示：v0.5.X 和 V1 间不兼容，V1 是一个全新的版本。官方表明0.5版本已不再维护所以这里是1.0.0版本的教程0 引言看 PyEcharts 名字就猜得到PyEcharts = Python + EchartsEcharts 是一个由百度开源的数据可视化工具，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的...

Seaborn 是基于 matplotlib 开发的高阶 Python 数据可视图库，用于绘制优雅、美观的统计图形。import seaborn as sns本帖还有用到其它的库，声明如下import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt%matpl...

前言很多时候我们做 Python 爬虫时或者自动化测试时需要用到 selenium 库，我们经常会卡在登录的时候，登录验证码是最头疼的事情，特别是如今的文字验证码和图形验证码。文字和图形验证码还加了干扰线，本文就来讲讲怎么绕过登录页面。绕过登录方法绕过登录基本有两种方法：第一种方法是登录后查看网站的 cookie，请求 url 的时候把 cookie 带上，第二种方法是启动浏览器带上浏...

拉钩这个网站有点意思，页面加载有两种方法点击首页的标签，页面时静态加载的直接搜索，页面的动摇加载的两种爬取方式不一样，这里都实现了。动态爬取时会出现 ‘操作太频繁，请稍后再试’字样，出现这种情况是cookie的问题，解决方案详见代码静态爬取https://www.lagou.com/zhaopin/jiqixuexi/?labelWords=label#!/usr/bin/e...

0 引言本文是 Python 系列的第六篇Pandas 是 Python 为解决数据分析而创建的，详情看官网 (https://pandas.pydata.org/)。 在使用 pandas 之前，需要引进它，语法如下：import pandas这样你就可以用 pandas 里面所有的内置方法 (build-in methods) 了，比如创建一维的 Series 和二维的 DataFr...

4 数据表的合并和连接数据表可以按「键」合并，用 merge 函数；可以按「轴」来连接，用 concat 函数。4.1 合并按键 (key) 合并可以分「单键合并」和「多键合并」。单键合并单键合并用 merge 函数，语法如下：pd.merge( df1, df2, how=s, on=c )c 是 df1 和 df2 共有的一栏，合并方式 (how=s) 有四种：左连接 (l...

前言每一个学习过爬虫的人对12306肯定都是有点想法，但在每年春节或一些假期经历过12306官网抢票后，这些念头便逐渐不剩下多少了。有时候真的是活生生的人都瞅不出来一直没有勇气去分析一下12306官网请求分析我们简单抓包就可以找到生成验证码的接口去除一些暂时无关的参数（仅分析验证码）https://kyfw.12306.cn/passport/captcha/captcha-ima...

AirtestAirtest官方文档本脚本可以通过AirtestIDE和python执行，推荐使用AirtestIDE的环境执行，更稳定一些AirtestIDE官方文档使用python执行该脚本安装库 airtest、pocouipip install airtestpip install pocoui代码如下# -*- encoding=utf8 -*-__autho...

有道翻译 Api破解之前写过，分析js，逆向破解参数，拼接请求。文章链接见下面JS逆向——破解有道翻译参数（sign）爬虫 超级详细代码改造python中获取外界参数：方法1：args 是运行前输入参数（不能在exe控制台中输入，可以用cmd窗口执行：translate-by-ybs translate this text）；方法2：input是运行时输入参数（可以在exe控制台中输...

基础内容 Django有关的所有命令 Django的安装 pip install django 创建项目 django-adminstartproject项目名 创建app (项目目录下) python manage.py startappapp01 启动项目...

参考这个博客，作者写的很流畅，一看就是个大佬，要向大佬学习企名片地址要获取图中数据。分析请求根据大佬博客的点拨，我们可以知道这个网站的数据都在这个参数当中，要获取这些数据，我们需要这个网页是怎么把这一段参数解析的。解析参数 encrypt_data加断点调试我们可以找到解析该参数的function，然后把这个function中所有的方法（s, a.b.decode）方法的JS代码...

1. 使用 new 方法： class Singleton(object): def __new__(cls, *args, **kw): if not hasattr(cls, '_instance'): orig = super(Singleton, cls) cls._instance = orig.__new__(...

在django 2.x版本有这个问题，应该是Django2.0以上自定义的过滤器需要在配置文件setting.py中配置后才会生效。解决方案：你只需要在setting.py 的 模板配置中添加如下代码'libraries':{ "filters_2":"booktest.templatetags.filters_2", },如下所示：TEMPLATES = [ { ...

此文使用 python3.7，用async 声明协程函数。在实际过程中，什么功能的函数要用async声明为协程函数呢？就是那些能发挥异步IO性能的函数，比如读写文件、读写网络、读写数据库，这些都是浪费时间的IO操作，把它们协程化、异步化从而提高程序的整体效率（速度）。1 创建一个协程Python 3.7 推荐使用 async/await 语法来声明协程，来编写异步应用程序。我们来创建一个...

0 引言SciPy 是 Python 里处理科学计算 (scientific computing) 的包，使用它遇到问题可访问它的官网 (https://www.scipy.org/). 去找答案。 在使用 scipy 之前，需要引进它，语法如下：import numpy as npimport scipy这样你就可以用 scipy 里面所有的内置方法 (build-in methods...

Numpy 是 Python 专门处理高维数组 (high dimensional array) 的计算的包，每次使用它遇到问题都会它的官网 (www.numpy.org). 去找答案。 在使用 numpy 之前，需要引进它，语法如下：import numpy这样你就可以用 numpy 里面所有的内置方法 (build-in methods) 了，比如求和与均值。numpy.sum()n...

构造请求方式requests 模块的iter_content方法要获取文本的时候我们通常会使用response.text获取文本信息,使用response.content获取字节流，比如下载图片保存到一个文件，而对于大个的文件我们就要采取分块读取的方法request.get() 方法的 stream参数api中的参数说明:param stream: (optional) if Fal...

NLP(Natural language processing，自然语言处理)是一门涵盖语言学、计算机科学、人工智慧等多个领域的科学，研究人与计算机之间用自然语言进行有效通信的理论方法，简单来说，NLP 就是开发能够理解人类语言的应用程序或服务。自然语言处理是很大的一门范畴和学问，这里讨论一些自然语言处理的例子，如分词、分句、词性划分、理解匹配词的同义词，当然，这并不是 NLP 能做的所有事情，...

这是个低级趣味的爬虫#!/practice/Study_Test python# -*- coding: utf-8 -*-# @Time : 2018/12/13 23:35# @Author : yb.w# @File : 18_12_12_Sister.pyimport osimport requestsfrom pyquery import...

【2019.05】python 爬取Bilibili弹幕【大碗宽面】大碗宽面 bilibili地址https://www.bilibili.com/video/av49775093?from=search&seid=17341565034802837057Chrome 调试找到弹幕url和cid得到弹幕连接http://comment.bilibili.com/87150...

在 Headers 请求头中，我们可以看到评论数据的链接，我们看到这是 post 的请求。但是在之后，我们发现这个请求的参数是经过加密的。之前在知乎上看到有人使用AES进行过解密。不过在这儿，我们就不研究解密了。因为网易云官方提供了非加密的接口：http://music.163.com/api/v1/resource/comments/R_SO_4_1359595520?limit=20&...

在使用selenium的过程中，有时会涉及到新的页面加载，有时由于网络或电脑或服务器等的原因，导致新的页面加载速度缓慢，这个时候该如何判断新的页面已经加载好了呢？可以通过判断当前页面的url是否是目的页面的url1. pythondriver.current_url # 获取当前页面url新的页面弹出，则结束循环while True: if ‘xxx‘ in driver....

java中使用 apache.commons.httpclient 快速实现简单的HTTP请求添加 mavan 依赖 或者导入jar包 commons-httpclient <!-- https://mvnrepository.com/artifact/commons-httpclient/commons-httpclient --> <dependency>...

命令行java项目中要调用写好的python程序，最后要部署到服务器。网上看了比较多的方法，最后决定通过调用命令行来执行python程序亲测可用。还可以，能用。package com.***.utils;/*** @Description 类描述：* @ClassName 类名称：* @author yb.w* @version 创建时间：2019年4月17日 下午7:00:30...

最近开始新项目web自动化，登录页面有个验证码，很难受。经过百度、谷歌、若干大法，终于实现了登录。钦此。我后来用python实现了，移步这里看看腾讯防水墙滑动验证码破解 python + selenium + OpenCVhttps://blog.youkuaiyun.com/qq_38534107/article/details/89522481package com.answer...

自行百度安装完成建议读者在使用的时候，提前设置好一定的规则，比如说，统一使用大写加数字或者统一使用小写加下划线。如果读者使用 Windows 系统，为了减少使用大小写切换的次数，哪怕你把命令写成小写也是没有关系的MySQL 基础知识创建数据库：mysql> CREATE DATABASE test;Query OK, 1 row affected (0.09 sec)从字面上理...

QQ 邮箱对于第三方收发有着较为严格的限制，在正式进行代码实现的过程之前，我们还需要打开 QQ 的 POP3/SMTP 协议,发送短信获取授权码，在这里我们使用163邮箱来做测试使用。Smtplib 是 Python 常用的库，这个库定义了一个 SMTP 客户端会话对象，可用于将邮件发送到具有 SMTP 或 ESMTP 侦听器的任何互联网上的计算机。读者可以在 RFC 821 和 RFC 18...

【极验测试站】https://www.geetest.com/demo/slide-popup.html滑动验证码如下图破解滑动验证码一般都是得到验证码的原图和有滑块的图，这里我们抓包发现极验的原图和滑块图经过了一定的处理，比较难操作，所以我们可以通过截图的方式来处理。原图滑块图结果展示操作见代码，注释写的比较详细#!/usr/bin/env python# encod...

1、一行代码实现1–100之和# 利用sum()函数求和sum(range(1, 101))50502、如何在一个函数内部修改全局变量# 函数内部global声明 修改全局变量a = 5def fn(): global a a = 4fn()a43、列出5个python标准库'''os: 提供与操作系统相关联的函数sys：通常用于命令行参数re...

接着上篇继续后面两个章节，数组变形和数组计算。数组的变形本节介绍四大类数组层面上的操作，具体有重塑 (reshape) 和打平 (ravel, flatten)合并 (concatenate, stack) 和分裂 (split)重复 (repeat) 和拼接 (tile)其他操作 (sort, insert, delete, copy)4.1 重塑和打平重塑 (reshap...

上次发了博客腾讯防水墙滑动验证码破解之后有人问我：腾讯防水墙滑动验证码破解 https://open.captcha.qq.com/online.html有人问我博主你好，试过你的代码，可以跑通，但是这个网站的防水墙无法验证通过https://urlsec.qq.com/report.html 我使用webdriver.Chrome()打开该网站后，手动拖动验证码仍然失效… 不知...

python 爬取百度贴吧图片并保存——还有这种反爬策略！昨天有人问我爬取百度贴吧图片使用xpath解析不了网页我说怎么回了，点了下网页，看着是比较简单啊，分分钟搞定。所以我就动手了。哎。人呐，就是不知道自己可以被预料，我一个好好地…啥奇怪的东西。接下来就动手了人呐分割线 -----------------------------------------------------------...

tkinterTkinter 库，或者说“Tk 接口”，是 Tk GUI 工具包的标准 Python 接口。Tk 和 tkinter 都可以在大多数 Unix 平台以及 Windows 系统上使用。(Tk 本身不是 Python 的一部分;它维持在ActiveState，Tk 工具最初是为 tcl 设计的。)Tk+interface=tkinterPython 提供的 IDLE ...

captcha_qq腾讯防水墙滑动验证码破解* 使用OpenCV库* 成功率大概90%左右：在实际应用中，登录后可判断当前页面是否有登录成功才会出现的信息：比如用户名等。循环* 验证码地址：https://open.captcha.qq.com/online.html* 破解 腾讯滑动验证码* 腾讯防水墙* python + seleniuum + cv2代码在这里star ...