- 博客(64)
- 收藏
- 关注
RSS订阅转载 pandas处理csv，分组统计
需求： /tmp/demo/data下有10个csv文件，按col0和col1分组分别统计col2和col3总和并计算col2和col3的商# encoding:utf-8import pandas import osdata_root = '/tmp/demo/data/' all_csv = '/tmp/demo/all.csv' ...
2019-07-25 17:31:00
1548
转载 redis相关问题记录
问题：无法在redis自行set操作错误信息：(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check ...
2019-05-22 17:35:00
170
转载 CI系列之配置sonar
基于GO项目1.在jenkins新建sonar任务，设置2个变量用于接收代码分支和pipline的workspace【两个变量的作用在CI之Jenkinsfile中会讲到】A.添加构建参数B.选择任务运行的节点，一般建议放在slave节点，以免CI项目多造成master机器负载过高C.编写脚本实现sonar扫描再次之前需要在slave节点机器上放置...
2019-02-23 22:58:00
341
转载 git merge代码
把主干合并进分支git checkout branchgit merge origin/master[一开始我使用的是git merge master，提交代码后发现主干和分支还是有差异，如果不带origin请保证master先更新到最新版本]将分支合并到主干git checkout mastergit merge branch转载于:https:...
2019-02-19 14:39:00
327
转载 shell问题汇总
1.sudo执行脚本找不到变量当普通用户下，设置并export一个变量，然后利用sudo执行echo命令，能得到变量的值，但是如果把echo命令写入脚本，然后再sudo执行脚本，就找不到变量，未能获取到值，如题情况如下：$ cat demo.sh echo $var1 $ var1=a1$ export var1 # ...
2019-02-14 14:45:00
132
转载 jenkins pipline 如何禁止任务并行
背景： 我测试的一个项目CI包括好几个步骤，但是有的步骤是不能并行的，否则会互相影响处理过程：【方案一】：不推荐此方案在每个步骤里面的shell脚本中加进程判断示例：比如本任务有4个步骤，第2个步骤启动的时候会启动进程test2那我在执行第2个步骤之前先判定进程test2是否存在，如果存在就循环等待直到进程消失结果：虽然解决了大部分情况下的任务冲突，但是在两个任务...
2018-12-26 19:39:00
1028
转载 【已解决】redis-py-cluster安装成功但导入失败，提示cannot import name b
背景：一直跑的好好的自动化突然跑不起来了，提示是在导包的时候发生错误发生错误的行是from rediscluster import StrictRedisCluster提示信息如下检查安装包，发现redis的两个相关包是有成功安装的redis 3.0.1redis-py-cluster 1.3.5但是一旦执行导入就提示错误，无法成功导入redis-py-c...
2018-11-16 19:56:00
2164
转载 python 处理protobuf协议
背景：需要用django基于python3模拟一个http接口，请求是post方式，body是protobuf string，返回也是protobuf string设计：django获取pb string的post body反序列化成json，通过json里面的指定字段的值获取对应的返回json， 并将返回的json序列化成pb string重点：需要用python实现基于pro...
2018-10-16 12:23:00
1740
转载 python 删除git Jenkinsfile文件
背景：在做ci集成的发现分支超过100个之后，pipline activity列表中前期的分支会被隐藏，这导致master分支在活动视图中不可见解决方案：删除历史分支的Jenkinsfile分支太多了，写了个脚本处理，具体如下from git import Repoimport osimport time# vi .git/config# lb ...
2018-09-26 14:54:00
184
转载 如何用python操作XML文件
备注： 基于python3背景：在统计覆盖率的时候希望绕属性name为test的节点具体实现源码如下所示，基本都是基于节点属性操作的，当然也就可以基于tag等其他标签去做，可根据需要调整from xml.etree.ElementTree import ElementTree, Elementclass XML_DEMO(): def __init_...
2018-09-04 09:58:00
194
转载 GIT如何根据历史记录回退代码
ps： 因为使用这种方式回退后,回退的目标版本之后提交的代码都没了，所以建议先把当前代码打个tag首先找到分支的提交记录git log将代码回退到历史版本git reset --hard0ff6ef442e67adb86ccd4f167a55a154a6917a5e强行把代码提交git push -f origin 分支名这样代码就回退了，转载于:h...
2018-08-20 09:53:00
426
转载 如何查看磁盘存储空间
最近经常碰到磁盘爆满的情况，查了下大多数其实大多都是日志导致的，很多人公用一台服务器，定期或者自动化清理日志就是一项很必要的工作了那么通过以下步骤可以很快找出存储大头1.如果收到提示磁盘不够了，先看下整体的磁盘占用情况，直接进入根目录cd /df -lhPS:其实data目录一开始被沾满了，这个是我清理之后的结果2.进入data目录查看究竟是哪个文件夹占...
2018-07-27 15:56:00
325
转载 git免密拉取代码
里介绍通过ssh公钥的方式免密拉取代码以linux服务器为例，windows方式是一样的1.用命令生成ssh keyssh-keygen -t rsa -C "xx@xxxcom"2.我们需要使用的是公钥查看上一步生成的文件，如我这里生成的文件是在/root/.ssh/ 路径下，打开id_rsa.pub文件，将文件中的全部内容复制3.登录git仓库，...
2018-07-02 12:12:00
835
转载 windows好用的cmd命令
1.如何查看本机ip局域网ip在cmd中输入ipconfig2.如何在不重启浏览器的情况下让刚修改的hosts生效，因为服务器和浏览器都有DNS缓存，在cmd中执行ipconfig /flushdns,即可转载于:https://www.cnblogs.com/smileyes/p/9066106.html...
2018-05-21 10:47:00
142
转载 git如何新建分支
1) 切换到基础分支，如主干git checkout master2）创建并切换到新分支git checkout -b pandagit branch可以看到已经在panda分支上3)更新分支代码并提交git add *git commit -m "init panda"git push origin panda4)在git代码管理界面经可以看到pan...
2018-04-25 12:39:00
247
转载 screen命令
1.查看当前的screen窗口screen -ls2.创建screen窗口，创建后默认进入窗口screen -S test3.退出test窗口ctrl+a+d4.重新进入test窗口screen -r test转载于:https://www.cnblogs.com/smileyes/p/8931979.html...
2018-04-24 17:26:00
95
转载 解决windows配置visual studio code调试golang环境问题
写这篇随笔是为了Mark下在这个过程中配到的几个问题1.具体过程可参考https://www.cnblogs.com/JerryNo1/p/5412864.html，Jerry博主写的非常详细了1）没有代码智能提示，cmd执行命令go get -u -v github.com/nsf/gocode 后重启vs code即可生效了，不过按照Jerry的教程是可以绕开这个问题的2...
2018-04-06 12:51:00
201
转载 转载一篇棒棒的AWK教程
处理文件经常要用到awk，老是找同事帮忙，次数多了难免被吐槽orz，其实之前也有找过awk的教程，表示一直看不太懂最近翻到了这篇教程，表示笔者真的太棒了，反正我是看一遍就懂了哈哈剩下的只是熟悉度的问题了，先Mark一下教程链接： https://coolshell.cn/articles/9070.html转载于:https://www.cnblogs.com/smile...
2018-02-01 17:41:00
102
转载 解决Creating Server TCP listening socket 54.179.160.162:7001: bind: Cannot assign requested address...
背景：之前在测试环境搭过一个redis集群，运维把服务器重启之后我重新开启redis集群始终起不来，但是有没有任何日志，经过如下步骤最终解决问题1.修改日志路径，根据日志查看为什么会启动失败[前期操作请参考我的另一篇如何创建集群]修改配置文件，如我要启动的是本机的7001端口，修改配置文件../cluster/7001/redis.conf修改日志路径，默认是空的，现在改为l...
2017-12-13 15:29:00
1060
转载 python操作mongo实例
# coding:utf-8"""mongo操作工具"""from pymongo import MongoClientMONGO_HOST, MONGO_PORT, MONGO_DB, MONGO_TABLE = '127.0.0.1', '27017', 'test_db', 'teat_tb'class MongoUtils: ""...
2017-11-20 14:33:00
131
转载 如何将mongo查询结果导出到文件中
1.新建一个js文件，将查询方法写进去，如dump.js,文件内容如下var c = db.campaign.find({status:1}).limit(5)while(c.hasNext()) { printjson(c.next());}2.输入命令来执行mongo $ip@$port/$db dump.js>result.js这样查...
2017-11-14 17:21:00
1561
转载 python如何将自己写的代码打包供他人使用
背景： 利用setuptools来实现，所以先安装setuptools，其实Python2.7.9及之后的版本都自带安装setuptools了，无需在另外安装如果没有安装setuptools的直接下载源码包解压安装就行了示例：以linux环境为例1.创建文件创建文件结构如下：setuptools_demo/├── pkDemo│ └── __init__.py...
2017-10-12 18:48:00
3733
转载 json格式化
1.将json格式化输出di = {"a":"aa", "b":"bb", "c":[1,2,3]}print json.dumps(di, indent=4)--------------{ "a": "aa", "c": [ 1, 2, 3 ], "b": "b...
2017-09-20 15:45:00
129
转载 如何在linux安装ruby2.2.2+
背景： 想搭建redis集群但是提示需要ruby2.2.2+直接使用yum安装yum -y install ruby ruby-devel rubygems rpm-build使用ruby -v查看发现版本是2.0.0，还是搭建redis集群ruby -vruby 2.0.0p648 (2015-12-16) [x86_64-linux]暂时没有查...
2017-09-07 14:18:00
235
转载 如何对字符串进行码表替换转码--加密encode
# encoding:utf-8import base64from string import maketransOLD_STR = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"NEW_STR = "vSoajc7dRzpWifGyNxZnV5k+DH"def encode_demo(str_data): str_data ...
2017-08-24 10:03:00
249
转载 git基础
以windows为例一.安装和配置0.注册一个git账号,按提示注册即可： https://github.com/1.下载并安装git,下载地址 https://git-scm.com/download/win，下载完之后一路往下安装即可2.设置配置信息，配置信息与注册的信息保持一致安装完git之后右键菜单就会有一个git bash here,点击就会出现git命令窗...
2017-08-14 11:52:00
66
转载 如何创建redis集群
1.下载redis源码包wget http://download.redis.io/releases/redis-3.2.4.tar.gz2.解压并安装tar xvf redis-3.2.4.tar.gzcd redis-3.2.4make && make instal3.将src文件夹将可执行文件拷贝到/usr/lo...
2017-08-06 17:08:00
98
转载 linux安装python2.7
linux自带的python是2.6版本的，用习惯了2.7.x,所以想升级python21.下载源码包,后面的下载链接直接在python官网找的，如果想安装更高的版本自行更换wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz2.解压压缩包tar xvf Python-2.7.10.tg...
2017-08-05 01:36:00
4208
转载 如何在windows和linux搭建django环境
注：本文以python3为例，python2.x是一样的不再赘述提前准备： python/python3已经安装好,如果没有请参考以下资料进行安装linux安装python3win安装python3window安装django使用pip进行安装1.打开cmd窗口python3-mpipinstalldjango或...
2017-08-04 21:29:00
98
转载 如何开通linux机器的对外访问端口
1.先查看是否已经开通2.没有开通，去linux机器查看防火墙，确实没有开通3.修改防火墙vim /etc/sysconfig/iptables4.重启防火墙之后重新查看已经可以看到8000端口了5.在window机器再telnet测试一下，或者直接可以访问相关服务看看搞定咯~~~~转载于:https://www.cnblogs.co...
2017-08-04 20:48:00
1001
转载 mongo日常命令集锦
查询某个字段是否存在db.student.findOne({name:{$exists:true}})db.student.findOne({'department.name':{$exists:true}})db.student.findOne({'department.name':{$exists:false}})---------------------------...
2017-08-04 19:59:00
123
转载 python正则--re模块常用方法
前面几篇关于正则匹配的文章我用的方法都只有一个re.search但其实正则re模块提供很多非常好用的方法，我们先来看看re模块都有那些属性方法呢前面的一堆带_或者大写的就不关注了，主要关注最后面的几个方法-------------------------------------------------------------------------------------...
2017-07-24 00:05:00
102
转载 python正则分组
python的正则表达式本身每一个字符串都是独立的看下面的例子就理解分组的含义了~ab*表示的是查找a和(0个或多个b),就是*是单独针对b的，所以返回a(ab)*则表示ab是一个组是一个整体，此时*是针对ab的，所以返回的是空串转载于:https://www.cnblogs.com/smileyes/p/7226571.html...
2017-07-23 23:03:00
362
转载 python正则子组匹配
子组匹配返回找到的第一个匹配项[]表示匹配列表中的任意一个，返回找到的第一个这样可以发现如果要查找字母的话可以使用[a-z],返回找到的第一个字母查找数字使用[0-9]，返回找到的第一个数字相当与\d在[]中使用^表示取反的意思,所以[^0-9]相当与\D.在[]也不再是任意字符的意思，就是.本身**************************...
2017-07-23 22:52:00
220
转载 python正则非贪婪模式
上一篇python正则匹配次数大家应该也发现了，除了？其他匹配次数规则都是尽可能多的匹配那如果只想匹配1次怎么办呢，这就是正则中非贪婪模式的概念了原理就是利用？与其他匹配次数规则进行组合单个匹配规则：* = {0,}表示匹配0-n次+ = {1,}表示匹配1-n次？= {0,1}表示匹配0-1次三者可组合成非贪婪模式匹配次数解析：*？ +? ??简而言之...
2017-07-23 22:27:00
142
转载 python正则匹配次数，贪婪和非贪婪
贪婪模式 {m,n}表示匹配子串的次数>=m and <=n，再此分为内匹配次数尽可能的多贪婪模式 {,n}表示 >=0 and <=n贪婪模式 {m,} 表示>=m{m}表示示匹配子串m次贪婪模式 * 匹配子串0次或多次，相当于{0,}贪婪模式 +匹配子串一次或多次{1,}？匹配子串0次或1次{0,1}...
2017-07-23 21:48:00
231
转载 python正则元字符的含义
练习的时候使用linux+ipython，ipython安装python的元字符# 元字符 ：# . ^ $ * + ? {} [] \ | ()注：\w还可以匹配下划线和汉字[ab\d]表示只要匹配该集合中的任一一个表达式都OK注意并不是按照集合的顺序来匹配的。而是返回第一个符合条件的字符串注：^$匹...
2017-07-22 23:30:00
202
转载 php笔记
1.中文乱码：加一句header("Content-Type: text/html;charset=utf-8");2.php的array类似python的字典转载于:https://www.cnblogs.com/smileyes/p/6801026.html
2017-07-22 15:05:00
151
转载 linux常用命令
1.复制文件夹复制文件夹/usr/t1到/home/t2路径下cp -r /usr/t1 /home/t2直接强制覆盖cp -rf /usr/t1 /home/t2远程复制scp 源文件路径 远程机器用户名@远程机器ip：目的路径scp /src/mydata/test.txt root@192.169.1.120:/dest/mydata--------...
2017-07-22 15:02:00
102
转载 如何在本地远程连接linux虚拟机上面的mysql
基础环境： 在linux安装mysql检查远程的虚拟机是否可以ping通过 查看虚拟机IP为192.168.38.128 cmd窗口ping 192.168.38.128,出现如下界面说明是可以的 检查虚拟机mysql的端口号是否对外开通 比如我们能用xshell等远程工具连接虚拟机上的linux，是因为开放了22端口 查...
2017-07-22 14:54:00
722
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人