qq_41864652的博客

记录demo

#!/usr/bin/env python# -*- coding=utf8 -*-import asynciofrom typing import Unionfrom yarl import URLfrom pamqp import specification as specfrom aio_pika.exceptions import ChannelClosedfrom aio_pika import RobustConnection, RobustChannel, Message.

工作目录: __init__.py#!/usr/bin/env python# -*- coding=utf8 -*-import osif __name__ != '__main__': import sys CUR_DIR = os.path.dirname(os.path.abspath(__file__)) PROJECT_DIR = os.path.dirname(CUR_DIR) sys.path.insert(0, PROJECT_DIR)

工作目录: __init__.py#!/usr/bin/env python# -*- coding=utf8 -*-import osimport sysCUR_DIR = os.path.dirname(os.path.abspath(__file__))PROJECT_DIR = os.path.dirname(CUR_DIR)sys.path.insert(0, PROJECT_DIR)sys.path.insert(0, CUR_DIR)# db仓库地址REPO_PAT

# -*- coding=utf8 -*-import osimport jsonfrom datetime import datetimefrom elasticsearch import Elasticsearch, RequestsHttpConnectionfrom elasticsearch import Transportfrom elasticsearch.excep...

记录日志是我们程序中必不可少的一个功能，但是日志文件如果没有合理的管理，时间长了几百兆的日志文件就很难分析了（都不想打开看），但是又不可能经常手动去管理它日志轮转：根据时间或者文件大小控制日志的文件个数，不用我们手动管理python中logging模块内置的有几个支持日志轮转的handler常用的有TimedRotatingFileHandler根据时间轮转RotatingFil...

数据过滤问题是爬虫项目开发时极为重要的一个环节使用redis过滤的优点：速度快、可持久化问题：当需要过滤的数据量过大（上亿）的时候即使搭配MD5（字符级）占用内存仍然比较大，布隆过滤器优点：速度快、占用内存小（位级）问题：不支持持久化，down机即失效布隆过滤器的原理：https://blog.youkuaiyun.com/jiaomeng/article/details/1495500...

笔记：根据一个进程的名字或启动此进程的命令（连续的一部分即可）杀死进程一、使用单条命令ps -ef | grep 进程名/启动进程的命令 | grep -v grep | awk '{print $2}' | xargs kill -9测试：终端输入：sleep 200 &sleep 200 &ps -ef | grep sleep | grep -v ...

最近比较闲就随便瞎看，看到了微信防撤回就顺便跟着学着实现一下使用的是wxpy，安装方法pip install wxpy（我使用的是python2.7），这样实现起来比较快，反正也只是练手首现看了两个别人实现的代码，然后看了看wxpy的文档：http://wxpy.readthedocs.io/zh/latest/utils.html（萌新，顺便锻炼下看文档） 我实现的代码： ...