小僵尸打字员的博客

前言我有一个朋友, 在我刚发完上面那篇限流功能实现之后问我, 为啥没有写用python实现的方法,我说我故意的你信不奸笑因为我当初在学习的时候瞅见别人也没得发, 这意味着啥, 可以再水一篇文章啊狂笑其实实现也很简单, 只不过因为这个要用到reids-cell的插件, 所以官方没有提供对应的sdk而已, 但是, 上帝关了一扇门, 就一定会在给你留一扇窗, 毕竟维持生活还是很必要的啊正文...

前言有个朋友昨天问了我这个问题, 刚好好长时间没写博客了, 就顺便在这写一下赋值引用赋值引用其实就是最基本也是最常用的引用, 即:a = [1, 2, 3]b = aa[0] = 2print(b) # [2, 2, 3]就相当于下面的过程所以当b=a时, 其实就是将b指向a的内存地址, 当a改变的时候, b也会随之改变浅拷贝浅拷贝就是只复制一份最外层元素, 生成一个...

前言今天遇到了mongo 的一条语句两个问题, 在这里分享一下留个记录问题一Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in.这个问题是我使用mongo的agg...

前言主要是因为懒得写insert语句, 所以打算用pandas存数据, 比较方便, 下面时测试成功脚本, 使用自拿"""@author xiaofei@date 2019-05-13@desc 测试pandas存入mysql"""import pymysqlimport pandas as pdfrom sqlalchemy import create_engine#...

前言用到这个主要是做图片上传, python的好写, go的找各种文档真的挺费劲的…Python# 获取字节流with open("/Users/xiaofei/Downloads/ywdhzxf.jpg", "rb") as f: res = f.read()print(res)# 发送请求resp = requests.post(url='http://127.0.0....

前言是在用pandas合并Dataframe的时候遇到的这个问题,pd.merge(df_borough, df_price , how=‘left’, on=‘other_id’).fillna(value=0)问题原因问题的原因是两个Dataframe根据合并的字段other_id的类型不一样导致了这个问题, 说来也玄学…跑了很多其他都没事, 一模一样塞入的类型解决使用 df_bo...

https://tenacity.readthedocs.io/en/latest/

把Mysql的数据同步到Elasticsearch是个很常见的需求，但在Github里找到的同步工具用起来或多或少都有些别扭。例如：某记录内容为"aaa|bbb|ccc"，将其按|分割成数组同步到es，这样的简单任务都难以实现，再加上配置繁琐，文档语焉不详...所以我写了个同步工具MysqlsMom：力求用最简单的配置完成复杂的同步任务。目前除了我所在的部门，也有越来...

闭包网上闭包的概念已经很多了, 在这就简单说一下体现: 在一个函数内部(外函数)返回另外一个函数(内函数) 内函数使用外函数的局部变量 外函数的返回值是内函数的引用 只要闭包还被使用，那么被闭包引用的变量会一直存在使用场景比如说 你有一个变量需要放到内存中, 然后只希望那个变量由你想要的方式去改变, 其他人不能去改变的时候就可以用到了实例我有一个方法需要判断...

Grpc初体验前言因为最近工作涉及到了grpc, 但是不是很了解这个框架, 所以就看了一手 grpc官方文档, 克隆下来代码简单的了解一下概念定义一个服务， 指定其可以被远程调用的方法及其参数和返回类型。gRPC 默认使用 protocol buffers 作为接口定义语言，来描述服务接口和有效载荷消息结构。允许定义四种服务方法1 单项 RPC，即客户端发送一个请求给服务端，从服务端获取...

转载 https://blog.youkuaiyun.com/yiyele/article/details/80605909在后面加了自己比较常用的一些方法代码一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd2、导入CSV或者xlsx文件：df = pd.DataFrame(pd...

python 中__init__ ,__new__ ,__call__,__del__ 方法三个方法的作用__new__ 负责创建一个实例对象__init__ 负责将该实例对象初始化__call__ 使实例能够像函数一样被调用，同时不影响实例本身的生命周期（__call__()不影响一个实例的构造和析构）。但是__call__()可以用来改变实例的内部成员的值。__init__...

工作需要,我要把我的工作成果每隔三天发送邮件,展示三天的工作情况,所以在linux上写了个脚本,每三天发一次邮件,下面是源代码coding: utf-8import sysreload(sys)sys.setdefaultencoding('utf8')from config import *from mongo_db import MongoDBimport time,da

divmodpython 的内置函数 这个函数是实现 a除以b，然后返回商与余数的元组。如果两个参数a,b都是整数，那么会采用整数除法，结果相当于（a//b, a % b)。如果a或b是浮点数，相当于（math.floor(a/b), a%b)。例子print divmod(10,100)print divmod(100,10)值为:(0, 10)(10, 0)

通过python的paramiko模块来远程连接服务器进行linux命令操作参考博文 https://www.cnblogs.com/wang-yc/p/5628114.html里面里很全面,不过python版本是3.5的, 2.7也可以使用,不过里面的参数可能会不一样,比如通过秘钥链接时的参数 key ,在python2.7使用时,为 pkey....

用flask小小的写了一下mango的增删改查,挺好用的上代码#coding:utf8from bson.objectid import ObjectIdfrom pymongo import MongoClientfrom flask import Flask,url_forapp = Flask(__name__)client = MongoClient('127.0.0...

pycurl的模块用法c = pycurl.Curl() #创建一个curl对象 c.setopt(pycurl.CONNECTTIMEOUT, 5) #连接的等待时间，设置为0则不等待 c.setopt(pycurl.TIMEOUT, 5) #请求超时时间 c.setopt(pycurl.NOPROGRESS, 0) #是否屏...

打包文件使用工具PyInstaller直接pip install 就可以简单使用进入文件目录 pyinstaller my.py出现 successful 则为成功注意事项1 如果有大的模块的话很有可能会失败,比如 pandas2 打包完会生成两个文件夹和一个文件,可执行的文件在dist目录下的exe;3 如果代码里有路径操作则都以当前exe目录为准;4...

xpath+jpath+re单字段测试最近测试发现这三个每次用都要重复写的东西太多了,然后封装了一下,做了一个单字段测试的类和接口,方便以后测试使用,只需要把类和包导入然后就可以直接使用了,简单方便class Spiders(object): def jpath(self, html,regex): body = str(html) # 可能有乱码问题 ...

列表分组根据每个列表的最大数进行分组,返回多个列表 def list_of_groups(init_list, childern_list_len): list_of_groups = zip(*(iter(init_list),) *childern_list_len) end_list = [list(i) for i in list_of_g...

获取图片中的数字因为最近要抓取的网站中有参数是在图片里面, 所以就需要来解析图片来获取参数, 图片清楚的话识别率是100%, 发出来工大家参考一下 前期准备 1 pip install pyocr 2 brew install tesseract 安装参考博客 https://www.jianshu.com/p/719c053f170b ...

编码报错UnicodeEncodeError: 'ascii' codec can't encode characters in position 7-8: ordinal not in range(128)一般当出现这种错误的时候我们都知道是编码问题,于是我们一般都在文件中用import sysreload(sys)sys.setdefaultencoding('utf-8')