- 博客(32)
- 收藏
- 关注
RSS订阅原创 pykafa Producer get_producer 5秒发送一次消息，__consumer_offsets生成大量日志问题
python 通过 pykafka 发送数据和消费数据，遇到两个问题，与大家分享下。 问题1 1. 通过pykafa 发送数据时候，每隔5s才发送一次，几百万数据，效率大大影响。 生产者只有get_producer 方法，当前参数 ack_timeout_ms=1000, linger_ms=5000只有两个。 查询官网 https://pykafka.readthedocs.io/en/...
2019-09-30 15:49:57
1130
1
原创 Python Unitest 自动化测试框架（V2.0）生成测试报告 发送邮件 excel用例数据驱动 接口自动化 Selenium 页面自动化 测试结果记录数据库
自动化测试框架说明 框架结构 当前自动化测试框架结构如下图所示： 自动化测试项目结构 目录与文件作用如下： AutoTest：自动化测试项目 Lib：测试项目相关的公用代码 Projects：按项目存放测试程序及所需数据、产生的报告等文件 Projects目录： BaseTest：自动化测试的公共模块，如：登录、用户管理等。 IDC：用于存...
2018-12-07 18:37:42
2375
原创 Hyperledger Composer REST server 浏览器访问区块链二 （整理版）
登录浏览器http://ip:3000/explorer/访问区块链网络入口界面包括四部分：Trader : A participant named TraderCommodity : An asset named CommodityTrade : A transaction named TradeSystem : General business network methodsTrader 是这...
2018-06-12 20:48:55
1064
翻译 区块链 Hyperledger Composer 管理部署现有网络（五）
1. 参与者和身份概念A Participant是商业网络中的演员。参与者可能是个人的组织。参与者可以创建资产，并与其他参与者交换资产。参与者通过提交交易来处理资产。参与者拥有一组Identity可以验证的文件来证明参与者的身份。例如，一个人可能有一个或多个以下身份证明文件证明他们是谁：护照驾驶执照指纹视网膜扫描SSL证书在Hyperledger Composer中，参与者与可用于与业务网络进行交...
2018-06-12 13:55:51
1055
原创 区块链Hyperledger Composer 环境安装 一（整理版）
Hyperledger Composer 环境安装1. 安装基本软件包**如果使用Linux安装Hyperledger Composer，请注意以下建议：以普通用户身份登录，而不是root用户。否则后续有很多问题不要su根。安装先决条件时，使用curl，然后使用sudo进行解压缩。以普通用户身份运行prereqs-ubuntu.sh。它可能会提示输入root密码，因为它的某些操作需要以root身份...
2018-06-12 13:48:40
2742
翻译 Hyperledger Composer REST API 集成现有系统（四）
1.生成REST API安装REST服务器Hyperledger Composer REST服务器可以使用npm或Docker进行安装。要使用npm进行安装，请运行以下命令：Copy复制npm install -g composer-rest-server 要使用Docker安装REST服务器，请参阅部署REST服务器。运行REST服务器Hyperledger Composer包含独立的Node....
2018-06-12 13:13:05
2499
翻译 区块链Hyperledger Composer 开发应用程序（三）
1. 编写Node.js应用程序应用程序开发人员使用composer-clientnpm模块以编程方式连接到已部署的业务网络，创建，读取，更新和删除资产和参与者并提交事务。如果应用程序需要能够部署或管理业务网络，则composer-admin可以使用npm模块。样本landregistry.js文件包含代表土地登记处的类别，并包含列出土地标题，添加默认标题和提交交易的方法。这已使用JavaScri...
2018-06-12 11:26:46
1303
翻译 区块链 Hyperledger composer 发布商业环境（二）
1. 业务网络定义业务网络定义是Hyperledger Composer编程模型的一个关键概念。它们由模块中BusinessNetworkDefinition定义的类表示，composer-common并由两者composer-admin和composer-client。业务网络定义由以下部分组成：一组模型文件一组JavaScript文件一个访问控制文件模型文件定义了业务网络的业务领域，而Java...
2018-06-12 11:22:48
1240
1
翻译 区块链 Hyperledger Composer 使用教程(环境搭建、项目开发 一)
Hyperledger Composer使用教程介绍1. 欢迎来到Hyperledger作曲家Hyperledger Composer是一个广泛的，开放的开发工具集和框架，可以使开发区块链应用程序变得更容易。我们的主要目标是加快实现价值的时间，并使您更容易将区块链应用程序与现有业务系统集成。您可以使用Composer快速开发用例，并在几周内部署区块链解决方案，而不是几个月。Composer允许您为...
2018-06-10 12:01:13
14540
2
原创 python 急速导入mysql 3000万数据，LOAD DATA INFILE
python 导入3000万条数据到mysql，尝试了很多种方法，发现LOAD DATA INFILE 导入的效率是最高，不到1分钟就导入完毕，效率实在是高，LOAD DATA INFILE 具体说明大家可以看其它文档。贴上代码和遇到的坑描述下。功能：按天创建新表，如果不存在则创建。创建完毕按天文件导入hash数据到表中。遇到问题1：python 通过load data 导入mysql 数...
2018-06-04 21:13:03
5031
1
原创 ubuntu16.4 caffe opencv3.4 CPU python版本安装
caffe 版本有GPU 、CPU版本，本文为虚拟机上面搭建的CPU版本，采用ubuntu16.4系统，opencv3.4版本。 CPU版本不需要cuda 等。 安装模块如下： 1. 依赖lib安装 2.opencv3.4安装 3.安装caffe 4.pycaffe安装 5.验证 安装步骤如下： 1. 各种依赖包安装 感觉不止这多，包括opencv 、lmdb等 su
2017-12-27 16:34:19
2959
1
原创 Nginx Tomcat 之间时延过长性能问题
现象：生产环境中，提供给第三方服务的时延每隔2分钟总有时延大于200ms，影响了用户体验。前期排查以为是系统内部问题，nginx +tomcat +redis。发现业务模块之间ok。排查nginx 机器 发现查看nginx进程ps -ef|grep nginx 180个WAIT_TIMEtcpdump 抓包TCP重连耗时近1分钟，底层连接出问题了。nginx 和tomcat之间的握手不停重连。 ...
2017-12-14 13:02:27
6332
原创 简单好用 性能测试之 ab测试
ab测试简单易用。只需要一条命令即可完成性能测试要求，使用简单，结果清晰。特别适合快速需要相关性能指标的情况。一般关注tps和时延。再结合其他资源监控工具，比如nmon监控当前系统资源。ab -c 1000 -n 500000 "http://192.168.142.75:10000/xs_api/video/search?fetchNum=5&ip=192.168.142.145&a...
2017-12-14 09:49:51
1894
原创 python 性能提升之 并行map 线程池过亿数据量
前段时间进行单一目录下10万张图片发送，效果很差，数据积压原来越多。 性能问题提上议程。 采用多线程 多进程 感觉比较繁琐，网上有介绍 map的并行处理的，使用后性能提高明细。 网上介绍map如下 介绍：Map Map是一个很棒的小功能，同时它也是Python并行代码快速运行的关键。给不熟悉的人讲解一下吧，map是从函数语言Lisp来的。map函数能够按序映射出另一个函数。例如 ...
2017-11-06 20:25:59
11433
原创 nginx添加lua 业务不中断平滑升级
架构： 当前系统架构采用nginx +keepalive 架构，为了不影响业务中断，采用平滑升级策略。 方案1：nginx 编译完毕后，keepalive 主备切换完成升级。 方案2：nginx 编译完成后，make upgrade 升级。 验证工具 nginx ab 工具。 升级步骤： 1. 备份 2.编译 3.替换 4. 升级5.验证 方案1 ，2 前3步骤都一样，主要在第4
2017-11-02 18:00:34
899
原创 python linecache 处理固定格式文本数据
小程序大功能 对一批报文要处理要处理里面的得分，发现python linecache ，特记录如下。 #!/usr/bin/env python # -*- coding: utf-8 -*- ''''提取result结果分值''' import linecache import os import os.path rootdir = r"./815old/" for pare
2017-11-01 19:13:06
809
原创 cv2 python 图片的批量处理
最近要生成大批量图片来进行样本准备，处理图片除了用ffmpeg外，cv2也是个不错的工具。 通过cv2 生成大量图片。 炸弹，单个目录生成了40G的图片，所有图片放入一个输出目录存在读取问题，最终格式化了磁盘。 # encoding:utf-8 import os import cv2 as cv import imghdr import time import os #扫描输出图片列
2017-11-01 19:02:09
6193
原创 python性能测试之 gevent 效果不错
python性能测试之 gevent 效果不错 最近要对格式URL比如ftp 、http、https 等进行处理，并且进行性能测试，发现gevent效果不错。 包括根据文本处理数据和发送消息 测试数据 1.txt ftp://dy:dy@xlj.2tu.cc:10120/[迅雷下载www.2tu.cc]恋爱前规则.HD1024高清国语中字.rmvb,noname,11
2017-11-01 18:32:05
1755
原创 locust python 性能测试，简单好用
python 编写的 locust性能测试，简单好用。 自带图形界面 #!/usr/bin/env python # -*- coding: utf-8 -*- from locust import * import json import subprocess class OpenAPI_penformance(TaskSet): #测试环境 app_key =
2017-11-01 16:22:29
1644
原创 python unittest自动化测试，生成测试报告，自动发邮件
项目进行自动化测试，采用python 的unittest架构进行。 架构代码如下： lib data config Report .pyt lib 为封装好的公共lib库，比如发送邮件、测试报告模板、访问数据库、hbase等 cofig为生成的公共配置 data 为测试数据集 Report 为生产报告结果目录 all_test.py 为执行用例入库 Test*.py为
2017-11-01 13:18:11
15391
1
原创 python 调用系统ffmpeg进行视频截图，并进行图片http发送
python 调用系统ffmpeg进行视频截图，并进行图片http发送ffmpeg 是个好东西。视频、图片的各种处理。 最近在做视频、图片的 色情、版权、暴*恐的深度学习识别，用到了ffmpeg部分功能，功能如下： 调用ffmpeg 对不同目录视频进行截图，通过http发送到后台进行算法识别。 每5分钟扫描最近的视频，生成图片，发送完毕图片删除。 代码如下： #!/usr/bin/e
2017-11-01 11:14:26
5676
原创 spark平台 mllib K-Means聚类算法 实现
spark平台 mllib K-Means聚类算法 python版本 实现 K-Means 聚类算法可以认为是机器学习比较简单算法，无监督学习。 把自然界的各类人、物属性向量化，来划分k类。 迭代来求k类的中心点。 直接上spark自带源码，spark源码自带 kmeans_data.txt 0.0 0.0 0.0 0.1 0.1 0.1 0.2 0.2 0.2 9
2017-04-19 20:59:06
1237
原创 python kafka producer consumer redis数据从kafka发送写人redis
本例子介绍 python kafka producer发送数据consumer 接收，并且写入redis简单步骤 kafka-python-producer.py producer 来发送数据，更新时间戳，ID自增长。5秒发送一次 #!/usr/bin/python # -*- coding:utf-8 -*- #kafka-python-producer from
2017-04-14 18:18:20
1971
原创 python http post json 加密发送
post 采用http协议发送加密的json报文根据密钥进行md5和base64 加密 发送。简单实现如下#!/usr/bin/env python #coding=utf-8 #post-http-json md5-base64 import json import hashlib import base64 import httplib timeQuotaJsonList=[{"date":"...
2017-04-13 13:43:21
4830
转载 统计基本知识-1
网易大课堂有相关统计学的系统课程。大家可以学习。 转载http://blog.sina.com.cn/s/blog_62ded7bf0101aqba.html 图片可能无法显示，请查看原文。 均值-中位数-众数-极差-中程数-方差-标准差-变异系数 极差 ->方差->标准差->变异系数 本文大纲： 1. 数据挖掘分析&算法前奏之data exploration做什么
2016-12-17 12:31:22
2238
转载 python 数据挖掘
转载http://python.jobbole.com/83563/ 未经作者同意转载，暂存，过几天删除。 大家可以移步伯乐在线查看，里面的python数据挖掘相关写的很好。 第一节 介绍 数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式。它使用广泛，并且是众多应用的技术基础。 本文介绍那些使用Python数据挖掘实践用于发现和描述结构模式数据的工具。近些
2016-12-16 18:37:06
1075
转载 Python数据分析
最近，Analysis with Programming加入了Planet Python。作为该网站的首批特约博客，我这里来分享一下如何通过Python来开始数据分析。具体内容如下： 数据导入 导入本地的或者web端的CSV文件； 数据变换；数据统计描述；假设检验 单样本t检验； 可视化；创建自定义函数。 数据导入 这是很关键的一步，为了后续的分析我们首先需要导入数据。通
2016-12-12 17:34:37
462
转载 python数据分析入门学习笔记儿
python 数据分析学习流程 前言：各种和数据分析相关python库的介绍（前言1~4摘抄自《利用python进行数据分析》） 1.Numpy： Numpy是python科学计算的基础包，它提供以下功能（不限于此）： (1)快速高效的多维数组对象naarray (2)用于对数组执行元素级计算以及直接对数组执行数学运算的函数 (3)用于读写硬盘上基于数组的数据集的...
2016-12-09 18:01:16
1228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人