Great Expectations的博客

原创 urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: un

要解决此错误，您只需要安装 Certificates.command。只需按照此步骤即可。

原创 AttributeError: partially initialized module ‘cv2‘ has no attribute ‘gapi_wip_gst_GStreamerPipeline‘

【代码】AttributeError: partially initialized module 'cv2' has no attribute 'gapi_wip_gst_GStreamerPipeline'

原创 如何采集微信公众号文章

数据采集在大数据时代扮演者举足轻重的地位，尤其是在媒体行业，数据采集更是发挥了巨大的作用，而微信公众号数据的采集是重要的部分， 也是在技术上非常有挑战的部分！一 微信公众号的采集思路有的人是在搜狗上进行微信公众号的采集，这个我很久以前有过尝试，但是局限性非常多，比如抓取间隔历史文章等等， 我个人认为这并不一个很好的办法， 但是可以尝试部分功能！ 看到有文章的说可以在微信公众平台注册账号，来抓取， 这个我个人没有实践过， 如果感兴趣可以搜搜相关文章 也有使用真机来采集微信公众号，这种方式成本...

原创 twisted.web._newclient.RequestGenerationFailed

这个问题困扰了我好几分钟的时间，我也找不到什么原因，也搜不到什么结果！我使用一台老得ubuntu 服务器运行一个scrapy 项目的时候出现这种问题那么这时候只有两种可能自己代码写得有问题 软件版本的问题，但是具体不知道是那个包的版本不行Traceback (most recent call last): File "/usr/local/lib/python3.5/dist-packages/scrapy/core/downloader/middleware.py", line ..

原创 React 循环数据 点赞的实现

我自己在鼓捣一个小功能的时候遇到一些问题，我并不是一个专业的前端开发人员，所以做起来有些吃力，分享一下个人思路：我想做一个如图的点赞小功能：遇到的问题；1 reducers是个嵌套的json数据，如上图所示，修改state数据容易，但是修改state中嵌套数据的某一项却很困难。我想了一撮头发的时间 大概思路：首先在钩子函数componentDidMount() 中 设置 sessionStorage，存入每一项和总的数组var storage = window.sess..

原创 TypeError: (“TopicDict.__getitem__ accepts a bytes object, but it got ‘%s‘“, ＜class ‘str‘＞)

topic = client.topics[b"test"]csdn 案例github

原创 Mongodb Find 查询

find 查询：查询test中的额所有文档db.test.find()查询指定条件 的文档db.test.find({"name":"zhang"});db.test.find({"name":"zhang","age": 32});查询结果指定需要返回的键 1显示 0不现实db.test.find({}, {"name":1, "age":1, "item_id":1 })查询条件$lt $lte $gt $gte 分别对应 < <= > >=db.test..

原创 Python 中的元类

关于python中的元类，我们可以说是百分之99都用不到，但是你如果想了解一些关于元类的编程，那么我们可以简单的探讨一下：我想先推荐一篇文章 ：了解 Python中的元类如果看完以后还是感觉莫名其妙，运行这样一个demo 可能会对你有所帮助：（元类编程在我看来，如果你想开发一些框架，可以尝试一下）class UpperAttrMetaclass(type): _type = dict() def __new__(cls, cls_name, bases, attr_dic

转载 使用loguru记录日志

前面我们学习了Python的日志模块，发现想要使用不是开箱即用，而是需要进行一系列的配置。那么，有咩有直接开箱即用的日志库呢？答案当然是有的，今天我们学习下loguru模块。安装pip install loguru基本使用那么这个库怎么来用呢？我们先用一个实例感受下：In [1]: from loguru import logger ...: ...: logger.debug('this is a debug message')看到了吧，不需..

转载 environs

这是一个第三方库，可以通过 pip 来安装：pip3 install environs使用 environs 来设置环境变量from environs import Env env = Env()VAR1 = env.int('VAR1', 1)VAR2 = env.float('VAR2', 5.5)VAR3 = env.list('VAR3')这里 environs 直接提供了 int、float、list 等方法export VAR1=1export VAR2=2

原创 ImportError: cannot import name 'log' from 'scrapy'

[root@localhost ~]# python3Python 3.8.2 (default, Apr 20 2020, 10:10:11) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import scrapy>>> >>> from s.

原创 Redis 02：全局命令

redis有五种数据结构，他们是键值对中的值，对于键来说有一些通用的命令1查看所有键keys *下面插入了3对字符串类型的键值对127.0.0.1: 6379> set hello world127.0.0.1: 6379> set java jedisOK127.0.0.1: 6379> set python redis-pyOKkey...

原创 Redis 01： 特性

你读的这篇博客是关于redis的，想必你对它已经有所了解，我最近在读redis开发与运维这本书，我想吧这本书的一些内容与大家分享，一是希望大家能共同进步，再者就是希望能经常查阅，提醒自己。我会陆续把这本书的重要知识点呈现。

原创 MAC: unable to import 'smart_open.gcs', disabling that module

mac 安装gensim 的时候需要注意， 我的安装过程或许会对你有帮助！首先安装gfortranbrew install gfortran如果执行时间太长，或者很久没反应 可以尝试切换镜像源brew install gfortran -i https://pypi.doubanio.com/simple然后就可以安装gensimpip install gens...

转载 python redis之连接池的原理

ps : 抄自 ：https://www.u3v3.com/ar/1346什么是连接池通常情况下, 当我们需要做redis操作时, 会创建一个连接, 并基于这个连接进行redis操作, 操作完成后, 释放连接,一般情况下, 这是没问题的, 但当并发量比较高的时候, 频繁的连接创建和释放对性能会有较高的影响于是, 连接池就发挥作用了连接池的原理是, 通过预先创建多个连接, ...

原创 腾讯微视 爬虫

关于腾讯微视频采集解决方案Github 地址点这里前段时间看到一个关于微信数据采集的小项目，我感觉非常不错， 修改它做一些好玩的事，用来获取短视频平台的一些数据，它很容易理解，也很容易进行修改，可以为以后其他爬虫提供思路。首先确保你有一台或多台安卓 手机，使用adb 对手机进行模拟操作，我们可以使用代理拦截的方式进行获取数据 当然我们也可以使用其他的方式，多种多样的玩法或许很有成...

原创 adb device offline

我们在使用adb 命令的时候可能会遇到这个问题，尤其是使用无线网络对手机进行控制的时候，很多人发表了观点，我把自己的看法和解决办法说一下：1 首先我们可以在此网站了解关于adb 的使用：点击这里2 其次我们可以查看一下adb 服务：ps -ef|grep 'adb'3 然后将此服务kill 掉后，重新进行连接 或者按照第1步网站中 所提示操作 ，希望可以帮到你...

原创 centos7 安装 mysql5.7

搭建步骤如下：1.首先进入本机的源文件目录# cd /usr/local/src/2. 使用wget下载官方yum源的rpm包：# wgethttps://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm3. 安装rpm包先卸载原包mariadb-libs# yum remove mari...

原创 Mongodb 索引和聚合

参考 链接 请查看 有些写的很好关于索引 参考参考db.comment.createIndex({"field":1},{"name":"news_hash_id_1"})mongo数据类型转换 str => int 参考db.article.find({"pv":{"$exists":true}}).forEach(function(x){x.pv = Nu...

原创 Mongodb query note

关于mongodb 聚合查询可参考1可参考2Monodb基本命令 查询命令db.articel.aggregate([{"$match": {"author": {"$eq": ObjectId(author_id)}}}, { "$group": {"_id": {"from_source": "$from_source"}, "num_cou...

转载 Object of type 'ObjectId' is not JSON serializable

mongo查询的结果中，objectId无法通过json序列化，解决方案：from bson import json_utiljson_util.dumps(data)转自：https://blog.youkuaiyun.com/weixin_42581501/article/details/80978169...

原创 consumer: Cannot connect to redis://:**@xxx.xxx.xxx.x:6379/11:

consumer: Cannot connect to redis://:**127.0.0.1:6379/11: DENIED Redis is running in protected mode because protected mode is enabled, no bind address was specified,no authentication password is...

原创 python ModuleNotFoundError

关于python的引包 ，当我们的项目很大有很多子文件时候，或许会遇到导包问题，假如我们的项目树如下图在 spider_test.py 编码class Spiders(object): @staticmethod def print_data(): print('spiders')我们在 class_models.py 编写代码 并运行 结...

原创 mongodb 数据库操作命令

Python 操作mongodb数据库Python操作数据库 （2）查看数据库：show dbs;选择（或创建）使用的数据库：use test; # 使用test数据库查看当前使用的数据库：db.getName();创建集合：db.test.insert({"_id":"520","name":"xiaoming"})查看当前数据库所有集合...

转载 mongodb设置密码

1 切换到 'admin' 数据库use adminuse admin;2：给admin设置用户密码:user: 用户名, pwd: 用户密码,roles: 用来设置用户的权限，比如读，读写 等等db.createUser({user: 'root', pwd: '123456', roles: ['root']})3 验证验证是否添加成功，'db.auth(用户...

转载 screen 状态为Attached

用 screen -ls, 显式当前状态为Attached， 但当前没有用户登陆些会话。screen此时正常状态应该为(Detached)此时用screen -r <session-id>，怎么也登不上。最后找到解决方法：screen -D -r ＜session-id>-D -r 先踢掉前一用户，再登陆。...

原创 The requested URL returned error: 401 Unauthorized while accessing

原因: contos 自带git版本太低 yum remove git 1 wget https://www.kernel.org/pub/software/scm/git/git-2.9.5.tar.gz2.安装依赖包yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel g...

原创 Mongodb TypeError: if no direction is specified, key_or_list must be an instance of list

解决方法：db.collection.find().sort([("name", 1), ("age" , 1)]) 原因：在python中只能使用列表进行排序，不能使用字典

原创 爬虫集群管理 Scrapyd + Gerapy Demo

scrpyd 安装使用scrapyd 官方文档GitHub：https://github.com/djm/python-scrapyd-apiScrapyd，GitHub：https://github.com/scrapy/scrapydscrapyd 是由scrapy 官方提供的爬虫管理工具，可以非常方便地上传、控制爬虫并且查看运行日志。它提供一个JSON web service...

原创 scrapy SpiderMiddleware DownloaderMiddleware

Spider中间件(Middleware)中间件是介入到Scrapy的spider处理机制的钩子框架，您可以添加代码来处理发送给 Spiders的response及spider产生的item和request。官方文档Scrapy各个组件执行顺序了解各个组件执行顺序后，首先 来看官方文档中的解释：process_spider_input(response, spider)...

原创 爬虫关于ip的问题

在使用爬虫进行数据抓取时候，会遇到很多反爬虫措施，封IP是常见的一种反扒措施，但是这种反扒措施是很古老的方式，对于运维人员来说当时看起来是比较有效的一种方式，但是一般的大量抓取都会携带使用代理ip 去请求，也就是ip 池现在爬虫使用代理一般有两种 方式：1 购买市面上的一些 API 接口，每次返回多少ip，在爬虫程序种接入使用（买代理）2 自己抓取一些免费的代理，去放到Redis 里面...

原创 使用Mac下的sequel Pro数据库错误MySQL said: Authentication plugin 'caching_sha2_password'

MySQL said: Authentication plugin 'caching_sha2_password' cannot be loaded: dlopen(/usr/local/lib/plugin/caching_sha2_password.so, 2): image not found打开系统偏好设置，找到mysql，点击Initialize Database。输入你的新...

原创 scrapy to_bytes must receive a unicode, str or bytes object, got int

这个 formdata 表单参数要是str 才可以，可以参考scrapy 源代码 form.py form_data = { "navigateType": "910", "firstCategoryId": "910", "secondCategoryId": "910",...

转载 python 清空列表的方法

1。大数据量的list，要进行局部元素删除，尽量避免用del随机删除，非常影响性能，如果删除量很大，不如直接新建list，然后用下面的方法释放清空旧list。2。对于一般性数据量超大的list，快速清空释放内存，可直接用 a = [] 来释放。其中a为list。3。对于作为函数参数的list，用上面的方法是不行的，因为函数执行完后，list长度是不变的，但是可以这样在函数中释放一个参数li...

转载 xpath回顾

原创 Python 杂记

python 列表转为字典的两个小方法1、现在有两个列表，list1 = ['key1','key2','key3']和list2 = ['1','2','3']，把他们转为这样的字典：{'key1':'1','key2':'2','key3':'3'}list1 = ['key1','key2','key3']list2 = ['1','2','3']dict(zip(list...

原创 Python3 ImportError: No module named _ssl解决方法

系统没有openssl，手动安装openssl1.下载openssl，地址为http://www.openssl.org/source/openssl-1.0.2a.tar.gz2.安装：tar -xzvf openssl-1.0.2a.tar.gz./config --prefix=/usr/local --openssldir=/usr/local/opensslmake &amp...

原创 Python 继承和多态

我们先来定义一个class Person，表示人，定义属性变量 name及sex （姓名和性别）；定义一个方法print_title()：当sex是male时，printman；当sex是female时，printwoman。参考如下代码：class Person(object): def __init__(self,name,sex): self.na...

转载 linux服务器之间传输文件的两种方式

1. scp【优点】简单方便，安全可靠；支持限速参数【缺点】不支持排除目录【用法】scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。命令格式scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）&gt...

原创 kafka consumer zookeeper is not a recognized option

旧版消费者启动命令：./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning新版kafka本改为./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning...