
devops
叶铁柱
Better late than never
展开
-
jenkins升级导致pipeline中buildName参数传递失败
jenkins升级导致无法显示build history的build namejenkinsfile pipeline groovy 语法 stage('Initialization'){ steps{ script{ buildName "${BUILD_NUMBER}-${BRANCH_NAME}" } } }报错提示尝试过语法改动,最后发现是个别插件没有更新更新插件“Token原创 2021-03-10 15:05:51 · 434 阅读 · 0 评论 -
xxx.app已损坏,打不开。你应该将它移到废纸篓
有时候,你下载一些软件,安装完打开时,会报“xxx.app已损坏,打不开。你应该将它移到废纸篓”的错误。百度很多方法都是让你,打开系统偏好设置 -> 安全与隐私 -> 通用选项卡,检查是否已经启用了任何来源选项。可是你的选项里根本就没有任何来源。这时候一般解决办法就是1.打开iTerm2.找到应用的名字ls /Applications/3.执行sudo xattr -rd com.apple.quarantine /Applications/应用名....原创 2021-01-11 10:19:13 · 450 阅读 · 1 评论 -
使用dataworks投递sls历史数据至Maxcompute
sls如何投递历史数据到Maxcompute?完成投递配置后,只能投递从创建时间后的数据,如何将sls中近一个月的数据按日期投递到maxcompute中呢?通过dataworks投递,用LogHub Reader和MaxCompute Writer注意:系统字段__time__、__source__、__topic__投递时分别使用C_LogTime、C_Source、C_Topic代替,其他业务字段不变。...原创 2021-01-11 10:04:44 · 615 阅读 · 0 评论 -
Jenkins修改BuildName的2种方法
方法一:常规项目->配置->构建环境->Set Build Name修改配置方法二:Pipeline项目->在stages里面加一个stage stages { stage('Initialization'){ steps{ buildName "${BUILD_NUMBER}-${BRANCH_NAME}" } }}以上2种方法改完,显示的时候,可能会有字母换行的问题,还需要改一下CSS。系统管理原创 2021-01-11 10:03:04 · 1936 阅读 · 1 评论 -
修改jenkins插件CSS
本文以Jenkins显示编译结果的插件description setter plugin 为例,调整插件部分html元素的css属性。description setterplugins.jenkins.io原始记录系统管理->系统配置->Theme(没有这个选项的话,请安装一下插件Theme Manager )在这里,我们尝试把背景改成粉色;.cards_container.zws-inserted { display:none;}#buildHistor原创 2021-01-08 10:50:15 · 449 阅读 · 3 评论 -
python manage.py runserver 失败
python manage.py runserver(env) root@Lisa:/data/github/uploadFiles # python manage.py runserverWatching for file changes with StatReloaderException in thread django-main-thread:Traceback (most recent call last): File "/data/github/uploadFiles/env/l原创 2021-01-07 10:35:14 · 1418 阅读 · 0 评论 -
ImportError:Couldn‘t import Django
在运行django项目时( python manage.py runserver),报错:root@Lisa:/data/github/uploadFiles # python manage.py runserverTraceback (most recent call last): File "manage.py", line 17, in <module> "Couldn't import Django. Are you sure it's installed and "原创 2021-01-07 10:28:11 · 1773 阅读 · 0 评论 -
Django入门实践
Python的Django框架入门实践https://github.com/LisaYF/myblog.gitgithub.com原创 2021-01-07 10:23:54 · 118 阅读 · 0 评论 -
Python爬虫框架Scrapy实践
本文以豆瓣电影为例,用python的Scrapy框架爬电影的名称、排名、介绍,评价和描述等信息,并存入到mongodb中。https://github.com/LisaYF/douban.gitgithub.com原创 2021-01-07 10:22:47 · 168 阅读 · 1 评论 -
pip install scrapy 失败的解决办法
pip install scrapy 错误信息Looking in indexes: http://mirrors.cloud.aliyuncs.com/pypi/simple/Collecting scrapy Downloading http://mirrors.cloud.aliyuncs.com/pypi/packages/d2/b1/105fe9a289e5bb64ec104076546f72060296d9989a0fc31a8b608c810868/Scrapy-2.2.0-py2原创 2021-01-07 10:21:29 · 911 阅读 · 0 评论 -
jenkins-pipleline:在Jenkinsfile中配置多个代理
需求:当一个代理挂掉的时候,启用备份的代理,以保证编译不会断。 Jenkins版本:Jenkins2.207失败的案例//失败案例1: ,agent { label 'labelname1, labelname2' }agent { label 'labelname1','labelname2' }//失败案例2: ||node('labelname1||labelname2'){}node {label 'labelname1 || labelname2'}node {label原创 2021-01-07 10:18:45 · 698 阅读 · 0 评论 -
用find命令查找文件并用for循环删除
1.用find查找文件并用for循环删除for f in `find . -name ".txt"` do echo $f rm -rf $f done ;原创 2021-01-06 10:23:47 · 797 阅读 · 0 评论 -
awk 以换行符作为分隔域来切分
1.awk 以换行符作为分隔域来切分查询结果find . -name .txt|awk -F "$" '{print $1}'原创 2021-01-06 10:22:33 · 3993 阅读 · 0 评论 -
Linux安装指定版本node
用命令安装指定版本node,只需简单两步curl -sL https://deb.nodesource.com/setup_10.x | bash - #注意 如果需要安装12版本以上的,则只需要把上条命令的10改成12即可apt-get install -y nodejs简单解释一下:curl:是一款强大的文件上传和下载命令行工具curl -s:不输出错误和进度信息curl -L:跟踪重定向bash:Bourne-Again Shell,大多数系统默认的shell- 短横线 表原创 2021-01-06 10:05:42 · 897 阅读 · 0 评论 -
Dockerfile java自动化测试镜像
FROM 找一个带python和adb命令的镜像WORKDIR /usr/bin# gradle --version (Gradle 4.1)ENV GRADLE_VERSION 4.1RUN curl -sLO https://services.gradle.org/distributions/gradle-${GRADLE_VERSION}-all.zip && \ unzip gradle-${GRADLE_VERSION}-all.zip && \ .原创 2021-01-05 11:38:17 · 155 阅读 · 0 评论 -
命令更新android sdk build tools
1.android命令cd 相关地址/android-sdk-linux/toolsandroid list sdk --allandroid update sdk -u -a -t 相应数字2.sdkmanager命令cd 相关地址/android-sdk-linux/tools/bin./sdkmanager --list./sdkmanager "platform-tools" "build-tools;28.0.3" "platforms;android-28"...原创 2020-12-30 11:20:06 · 383 阅读 · 0 评论 -
tee命令
tee命令说明:在屏幕输出数据的同时将数据重定向到指定文件中;格式:tee (选项) (参数)-a:向文件中重定向时使用追加模式;-i:忽略中断(interrupt)信号;LisaMacBook:Desktop Lisa$ ls |tee ./out.txt|cat -n...原创 2020-12-30 11:19:06 · 243 阅读 · 0 评论 -
Java (Override、Overload)
重写(Override)重写(Override)外貌不变,内心重塑子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变重载(Overload)重载(Overload)除名称皆可改变重载(overloading) 是在一个类里面,方法名字相同,而参数不同。返回类型可以相同也可以不同。...原创 2020-12-29 14:45:02 · 112 阅读 · 1 评论 -
java作用域(public、private、protected、friendly)
public:开放,所有用户可直接调用;private:私有,除自己外,其他人不可调用,自己子女也不可以;protected:保护,只有自己,以及自己的子女、朋友可以调用,其他人不行;friendly:不写时默认;...原创 2020-12-29 14:42:37 · 272 阅读 · 0 评论 -
进位制
进位制:使用有限的数字符号来表示所有的数值二进制0-1八进制0-7十进制0-9十二进制0-9 A-B十六进制0-9 A-F二十进制0-9 A-J六十进制圆形坐标系(度、分、秒)和时间测量(小时、分钟、秒)转换关系转换方法-低到高二进制->八进制:取三合一法,即从二进制的小数点为分界点,向左(向右)每三位取成一位,接着将这三位二进制按权相加,然后,按顺序进行排列,小数点的位置不变,得到的数字就是我们所求的八进制数。如果向左(向右)取三位后,原创 2020-12-29 14:40:50 · 580 阅读 · 1 评论 -
UTC-to-CST
最近在服务器上面新建了docker容器,但是容器内的时间和服务器的时间不一致。服务器:docker 容器:UTCUTC时间标准时间(Coordinated Universal Time)是最主要的世界时间标准,其以原子时秒长为基础,在时刻上尽量接近于格林尼治标准时间CSTUTC北京时间(China Standard Time),中国标准时间。在时区划分上,属东八区,比协调世界时早8小时,记为UTC+8。UTC 转化为CSTln -sf /usr/shar原创 2020-12-29 14:31:13 · 362 阅读 · 0 评论 -
vim 常用命令
最近总是需要vim编辑文本,之前写过一篇vim编译,今天再来总结一下我常用的命令。 Lisa:vim编辑1.光标移动移动到行首: 0移动到行尾: $移动到文件头部: gg :+0移动到文件尾部: G :+$移动到第N行: NG(例:10G、20G……) 注意:(显示所有行号 :set nu,查看当前行号 :nu) :N往下翻页: control+f往上翻页: contorl+b2.插原创 2020-12-28 10:26:55 · 150 阅读 · 0 评论 -
协同过滤(CF)-简单了解
协同过滤(collaborative filtering)算法:仅仅基于用户行为数据设计的推荐算法。CF分为两类:基于用户的协同过滤算法(userCF):给用户推荐和他兴趣相似的其他用户喜欢的物品。 基于物品的协同过滤算法(itemCF):给用户推荐和他之前喜欢的物品相似的物品。itemCF算法认为,物品A和物品B具有很大的相似度是因为喜欢物品A的用户大都也喜欢物品B。userCF算法主要包括两个部分:①:找到和目标用户相似的用户集合。②:找到这个集合中用户喜欢的,且目标用户没有听原创 2020-12-28 10:22:22 · 238 阅读 · 0 评论 -
数据工具地图
最近公司一直在研究各种数据分析类的工具,自己搭的hadoop集群、spark集群、阿里的Maxcompute、Spuerset、Redash、Tableau、metabase……每个工具或集群都有自己的短板和长处,关键是要挑选适合自己公司环境的。数据工具地图网址:http://mattturck.com/wp-content/uploads/2018/07/Matt_Turck_FirstMark_Big_Data_Landscape_2018_Final.png...原创 2020-12-28 10:18:34 · 186 阅读 · 0 评论 -
mac 跨域配置
1、创建文件夹cd /Users/Lisa/Documents/mkdir MyChromeDevUserData2、执行命令,并打开文件夹open -n /Applications/Google\Chrome.app/--args --disable-web-security --user-data-dir=/Users/Lisa/Documents/MyChromeDevUserData原创 2020-12-28 10:16:52 · 248 阅读 · 0 评论 -
ERROR: Failed to authenticate as jenkins
有时候Jenkins涉及的操作太多,真的不知道是谁干的,我内网的slave 就是突然连不上了。报错: ERROR: Failed to authenticate as jenkins. Wrong password. (credentialId:slave-ssh/method:password)提示密码错误,但是真的谁都没改过!于是我登录内网虚拟机[root@localhost init.d]# ssh jenkins@192.168.3.??? -p ????试了三遍,但是我真的不记原创 2020-12-28 10:15:16 · 1638 阅读 · 0 评论 -
ossfs 挂载失败 no version information available
有时候应开发人员的要求,需要写一些脚本来对OSS bucket 中的文件做一些操作;理所当然 我会用脚本先把 bucket 挂载到服务器上面,再操作。挂载脚本 oss.sh:#! /bin/bashbucket=bucket名称key=key值secret=secret值#### One of The following ################endpoint=oss-cn-地区-internal.aliyuncs.com #Ali cloud in原创 2020-12-28 10:06:58 · 388 阅读 · 0 评论 -
Python判断字符串包含关系
#!/usr/bin/env python#encoding:utf-8# 1.in 方法str_test="the family can mutually close cooperation, is the only real happiness in the world.\njust test."print str_teststr2="family"if str2 in str_test: #注意必须是单引号 print "Found '"+str2+"' in the strin.原创 2020-12-25 16:46:29 · 431 阅读 · 1 评论 -
net-tools、procps
我们很少会碰到docker 容器里面没有netstat和ps命令的,但是当容器出现问题时,这两个命令是有极大可能会被用到的,怎么这种奇葩环境里面什么都没有呢!真气人!ps commmand not foundnetstat command not found一般遇到这种情况,都是和空,它肯定连sudo和vim 都没有了。apt-get update# netstat命令apt-get -y install net-tools# ps命令apt-get -y install proc原创 2020-12-25 16:45:12 · 144 阅读 · 0 评论 -
shell判断字符串包含关系
#!/bin/bash#shell判断字符串包含关系#判断strA是否包含strB?# 1.利用grep查找grep_search(){ strA="testA,testB" strB="testB" result=`echo $strA|grep $strB` if [ ${result}x != ""x ]; then echo 'include' else echo 'exclusive' fi}# .原创 2020-12-25 16:43:14 · 355 阅读 · 0 评论 -
302重定向
最近有一次刚做完自动化编译,然后访问一个地址的时候,发现该地址访问的URL改变了,才让我注意到这个302重定向问题。http://IP?访问地址?wsrid_tag=5bfb8b54_dianx19_16885-37249&wsiphost=local1.官方解释302重定向又称之为302代表暂时性转移(Temporarily Moved ),英文名称:302 redirect。 也被认为是暂时重定向(temporary redirect),一条对网站浏览器的指令来显示浏览器被要求显示的原创 2020-12-22 10:39:10 · 1519 阅读 · 0 评论 -
Scala-函数式编程思想和环境搭建
第1章 函数式编程思想1-1 课程介绍Scala 是高逼格实用的编程语言1-2 Scala函数式编程思想纯函数没有副作用引用透明:对于相同的输入,总是得到相同的输出如果F(x)的参数x和函数体都是应用透明的,那么函数f是纯函数函数是一等公民:一切都是计算,函数式编程中只有表达式,变量,函数都是表达式高阶函数闭包表达式求值策略:严格求值(Call By Value)和非严格求值(Call By Name)惰性求值(Lazy Evaluation):当定义这个表达式的时候.原创 2020-12-22 10:34:25 · 142 阅读 · 0 评论 -
SQL CASE WHEN
最近有一个需求,就是把阿里云SLS上面常用的一个查询放到grafana上面实时展示出来;这个很简单那,直接把datasource和查询语句导过去不就好了吗!于是我很快做完了,拿给需求者展示。结果人家说 要把表格里的某些值展示为中文,易于理解。于是和我说了用as,我一脸懵。谷歌发现用case when 就可以实现这个需求呢!* and ???="???" | SELECT ???,CASE ??? WHEN 's0' THEN '开机失败' WHEN 's1' THEN '开机成功'原创 2020-12-22 10:27:09 · 129 阅读 · 0 评论 -
connect: Network is unreachable
SecureCRT 连不上虚拟机了,第一反应当然是(是不是ssh断了?)于是乎[root@cdh1 system]# service sshd start[root@cdh1 system]# sudo systemctl start ssh.serviceError getting authority: Error initializing authority: Could not connect: No such file or directory (g-io-error-quark, 1原创 2020-12-22 10:24:14 · 442 阅读 · 0 评论 -
Error response from daemon
今天看jenkins上面有一个内网的slave突然挂了,心里一阵凉。跑上去一看,果然,docker 容器没起。[root@localhost ~]# docker start 2eError response from daemon: devmapper: Error mounting '/dev/mapper/docker-253:0-25588287-c9c396c0f6733bc38beeee343a706772e94ef7d09be9357c3b57f2b11f605120' on '/原创 2020-12-22 10:20:34 · 1119 阅读 · 0 评论 -
linux时间转换 UTC to CST
###前言装完docker发现容器里面时间与系统时间不一致,于是就想把UTC转换成CST,谁让这个UTC的时间比北京时间晚8个小时呢!###简单介绍UTC 世界协调时间 (United Technology Corporation)北京早上8点(东八区),UTC的时间为零点CST 中国沿海时间(北京时间)(China Standard Time)### 查看当前时间[root@localhost ~]# date -RWed, 17 Oct 2018 16:44:..原创 2020-12-22 10:17:44 · 1472 阅读 · 0 评论 -
HIVE(安装,管理,数据类型,数据模型)
第三章 hive的安装hive安装包:http://hive.apache.org/downloads.htmlapache所有安装包:http://archive.apache.org/dist/jps命令可以检查后台的进程hive的安装模式(嵌入模式、本地模式、远程模式)第四章 hive的管理4-1 hive的管理之CLI方式hive的启动方式- CLI(命令方式)- web界面方式- 远程服务启动方式CLI(命令行方式)进入CLI命令行模式:- 直接输入 #原创 2020-12-22 10:13:31 · 128 阅读 · 0 评论 -
core-site.xml not found
1、报错[root@cdh1 /]# su hdfs[hdfs@cdh1 /]$ hadoop fs -ls /user/hue/test[hdfs@cdh1 /]$ Exception in thread "main" java.lang.RuntimeException: core-site.xml not found at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2657)原创 2020-12-22 09:56:08 · 1454 阅读 · 0 评论 -
HIVE入门(概述、hive的体系结构)
第一章 概述1-1 课程概述什么是hive?答:hive构建在hadoop hdfs 上的数据仓库。什么是数据仓库?答:数据仓库实际上就是一个数据库,数据仓库的特点:引入冗余,分析数据;数据库的特点:避免冗余,捕获数据。1-2 数据仓库简介什么是数据仓库?答:数据仓库是一个面向主题的,集成的,不可更新的,随时间不变化的数据集合,它主要用于支持企业或组织的决策分析处理。数据仓库的结构和建立过程答:1、数据源 (业务数据系统、文档资料、其他数据)2、数据存储及管理-E原创 2020-12-22 09:55:57 · 344 阅读 · 0 评论 -
在HUE页面添加Notebooks服务
昨天刚装了Livy,可是hue spark livy 怎么联系起来呢?头就提醒了一个notebook。m9( `д´ )!!!!1、在clodera manager->hue->配置->高级->"hue_safety_value.ini的Hue服务高级配置代码段(安全阀)"里面,添加一下内容:[spark]server_url=http://cdh1:8998 #注意:server_url 根据自己实际情况填 (此行不用复制)languages='[{"name"原创 2020-12-21 17:00:41 · 230 阅读 · 0 评论