- 博客(292)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python 爬虫
# *_* coding:utf-8 *_*# 开发团队:中国软件开发团队# 开发人员:Administrator# 开发时间:2019/3/23 5:16# 文件名称:weatherSpider# 开发工具:PyCharmimport tkinterimport tkinter.messageboxfrom tkinter import ttkimport requests# from PIL import ImageTk as itkfrom selenium impo...
2021-07-30 15:49:26
343
原创 Centos 7 安装指定版本的docker(19.03.9)
1、安装之前前移除现有docker现在镜像版本:17.12.0sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ ..
2021-07-05 11:25:14
913
原创 服务器上不输入密码直接下载
在~/下， touch创建文件 .git-credentials, 用vi编辑此文件，输入内容格式：touch .git-credentialsvi.git-credentials输入：https://{username}:{password}@github.com
2021-05-28 16:03:50
184
原创 【python】pytest多线程
背景：想要做稳定性测试，在一段时间内，持续性并发调用测试用例，查看单量情况和系统有无报错。自动化测试框架pytest分布式执行用例的设计原则#用例之间是独立的，没有依赖关系，用例可以完全独立运行#用例执行没有顺序，随机顺序都能正常执行#每个用例都能重复运行，运行结果不会影响其他用例过程：pytest框架的并发操作有两种1、pytest-xdist 多进程方式，跟服务器有多少cpu有关 插件安装 pip3 install pyte...
2021-04-30 11:54:25
1572
2
原创 Redis 运行一段时间后，数据被清空的处理
发生背景：做稳定性测试时，运行一段时间的脚本后，环境中的redis就被清空使用命令docker logs redisdocker查看redis的log信息，报错如下可能原因：百度之后，说是redis的某个路径配置错误，需要重新配置。解决步骤：1、进入redis容器，查看redis.conf中的配置cat /etc/redis.conf|grep dir结果是 /var/lib/redis/data2、安装redis的客户端redis_cli#从redi..
2021-04-23 13:56:13
3262
4
原创 top命令详解
第一行：当前系统时间系统已经运行了天时分（在这期间没有重启过）当前有3个用户登录系统1分钟，5分钟，15分钟的负载情况load average 数据是每隔5秒检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑cpu的数量，结果高于5时表明系统在超负荷运转了。第二行系统现在共有114个进程，其中运行中的1个，113个休眠，0个stoped的，0个僵尸第三行：cpu状态us —用户空间占用cpu的百分比sy —内核空间占用c...
2021-03-25 16:20:35
360
转载 【python】python中yield的用法详解
转载自：https://blog.youkuaiyun.com/mieleizhi0522/article/details/82142856/首先，如果你还没有对yield有个初步分认识，那么你先把yield看做“return”，这个是直观的，它首先是个return，普通的return是什么意思，就是在程序中返回某个值，返回之后程序就不再往下运行了。看做return之后再把它看做一个是生成器（generator）的一部分（带yield的函数才是真正的迭代器），好了，如果你对这些不明白的话，那先把yield看做ret
2021-03-10 14:48:45
172
原创 【mysql】docker 安装的mysql 进行存储转移
背景：docker安装的mysql，版本5.7.0因为运行了很长一段时间，df -h 查看时，磁盘使用率已经99%所以需要重新部署mysql，将mysql的docker 文件移动到另一个比较大的磁盘上。处理步骤：1、空闲时间段，关闭这个服务器上的mysql2、在新的磁盘上新建文件夹 dockerdb3、将原来的 dockerdb copy到新的磁盘上 copy -r /usr/local/dockerdb /tzgData/dockerdb4、停掉原来的my...
2020-09-04 11:13:39
733
原创 Centos上yum安装kubectl
1、使用yum方式安装cd /etc/yum.repos.dtouchkubernetes.repovimkubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun...
2020-08-17 11:03:34
1807
原创 Helm 部署配置rabbitmq+glusterfs分布式存储应用
1、使用的 Helm repo如下2、使用的这个版本helm fetch stable/rabbitmq-ha --version=1.44.23、cd rabbitmq-ha-ha 是指集群部署4、依据具体情况，调整values.yaml 中的值我调整的项有5、在这个路径下进行部署helm install rabbitmq-ha . -f values.yaml6、部署NodePort Service提供对外访问over.
2020-06-15 17:59:18
711
原创 linux服务器tab键补齐命令不可用
df -h发现这个/dev/mapper/cl-root 占用了 100%全局查找大文件find / -xdev -size +100M -exec ls -l {} \发现这个服务器上，有个备份文件夹占用了很多批量删除指定类型的文件# find . -name "*.java" |xargs rm -rfv问题解决！...
2020-06-12 16:58:14
898
原创 Helm 部署配置mysql+glusterfs分布式存储应用
1、使用的 Helm repo如下最开始没添加这个，下载的 stable/mysql ，不是很合适，后面加了这个源helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubatorhelm repo updatehelm search mysqlha新建一个文件夹mysqlhelm fetch incubator/mysqlha解压cd mysqlha2、依据具体情
2020-05-29 15:19:55
775
原创 Helm 部署配置mongo+glusterfs分布式存储应用
Mongodb的集群搭建方式主要有三种，主从模式，Replica set模式，sharding模式, 三种模式各有优劣，适用于不同的场合，属Replica set应用最为广泛，主从模式现在用的较少，sharding模式最为完备，但配置维护较为复杂。本次使用的方式是 Replica set模式部署步骤1、2、先为mongodb创建一个新空间kubectl create ns mongo-testhelm pull stable/mongodb -n mongo-test下载
2020-05-28 15:52:18
884
原创 【docker】/var/lib/docker/overlay2/ 占用磁盘问题 最终解决方案
找IT 挂载了新磁盘，比如/data2 100G在docker配置文件中，加上这个systemctl daemon-reload重启docker服务即可。会导致此服务器上的所有docker 容器丢失，需要重新部署。还会导致一个问题docker push 时，会报错denied: requested access to the resource is denied解决方法：需要 删除这里，重新docker login 即可...
2020-05-28 12:01:17
8053
原创 Helm 部署的redis，增加数据库的数量
问题：默认是16个，想要增加到51个。解决步骤：通过查看 docker传统方式安装的redis，在配置文件中，有这一项，databases 定义数据库数量
2020-05-27 14:31:28
632
原创 Helm 部署配置redis集群+glusterfs分布式存储应用
1、helm的安装不做赘述，网上有很多教程。2、helm添加Chart库添加微软库helm repo add stable http://mirror.azure.cn/kubernetes/charts/目前我本地的Chart库如下添加了之后，查询redis结果如下helm search repo redis -l 可以查看历史版本3、拉取部署文件： helm pull stable/redis-ha不指定标签时默认拉取最新版本，拉取的是一个压缩包解压
2020-05-27 14:18:56
1283
原创 Harbor中容量存储不够的解决方法
问题：可看出Harbor中快要不够了解决方法： 首先需要向IT申请，向harbor所在的这台服务器挂载一个较大的磁盘。 df -h 查看到可以使用的较大的目录，在新目录下新建harbor的存储文件夹 然后依次进行以下步骤：1、vi/data/harbor/harbor.cfg 修改这个配置项 secretkey_path = /data2、cat/data/harbor/docker-compose.yml|grep dat...
2020-05-22 15:38:02
3016
原创 VS Code集成Bash shell
打开VS Code的配置File ——> Preferences ——> SettingsSave一下，关掉重新启动 VS Code这里就有bash选项了，可以执行shell脚本了。
2020-05-13 10:58:46
3787
原创 【mysql】docker安装的mysql，修改时区
1、遇到的问题时区总是相差8个小时2、首次解决方法进入容器/etc/my.cnf 是链接文件，修改不了服务器新建my.cnf ，增加 default-time-zone ='+8:00';然后把服务器新建的 my.cnf 复制到容器内，重新启动mysql容器，有报错3、最终解决方法进入容器，命令进入myql，执行一些mysql命令进行配置的修改。备注：mysql -uroot -p输入新建mysql容器时设置的MYSQL_ROOT_PASSWOR.
2020-05-09 11:33:20
987
原创 【docker】/var/lib/docker/overlay2/ 占用磁盘问题，临时解决方案
删除了/var/lib/docker/overlay2/部分内容后docker pull时报错于是rm -rf/var/lib/docker/systemctl stop dockersystemctl startdocker就又可以了。这个命令，不知道是否有效umount /var/lib/docker/overlay2...
2020-04-28 16:40:01
38972
原创 【docker】 /var/lib/docker/overlay2/ 占用磁盘问题
df -h查看到下面的路径，占用快满了而如果把/var/lib/docker/overlay2/ ，里面的内容删除的话，docker pull要报错failed to register layer: symlink ../9f01f71de427212082349a7c0e59f1daaa2091c591323f2ae24d52a28364a1fe/diff /var/lib...
2020-04-28 16:28:23
40289
2
原创 【docker compose】linux上安装docker compose
命令很简单，就以下几行先是安装wget命令 yum -y install wget以下命令依次执行，第一条命令执行时间视网络情况而定wget https://github.com/docker/compose/releases/download/1.14.0-rc2/docker-compose-Linux-x86_64rename docker-compose-Linux...
2020-04-22 16:44:17
36880
原创 【K8S】K8S使用学习笔记
1、spec 定义资源的状态，对于Pod来说，最重要属性就是containersspec: containers: -name:web image: ports - containerPort:80 #定义容器监听的端口（与Dockerfile中的Expose类似，只是为了提供文档信息）？？2、ports:-protocol:TCPport:80 #指定...
2020-04-22 15:48:21
36795
原创 【sftp连接报错】Unhandled exception. Renci.SshNet.Common.SftpPermissionDeniedException: Permission denied
通过网上查找资料得知：应该是创建文件时，对某些文件夹没有相应权限，就会报这个错。解决方法： 依照对方给的资料，其中有一项 DestinationFolder 在测试环境的配置文件中，"dir": 这里改为上面的DestinationFolder 问题解决，不再报错！...
2020-04-21 13:55:18
38467
原创 【ftp sftp】在linux上的使用命令
由于部署的服务中，有需要访问外部 ftp 或 sftp 的功能。有些报错在排查时，需要先在服务器上测试能否连接上外部 ftp 或 sftp。所以需要简单的命令在服务器上试一下连接。1、ftp的连接直接输入 ftpftp> open ip地址提示输入用户名和密码如果连接成功就显示：User logged inftp> ls查看目录情况ftp>...
2020-04-21 13:50:22
36870
原创 【.net C#】.net core 安装
1、查看本地安装了多少.net core 版本dotnet --list-sdks2、下载.net core 的安装版本下载网址https://dotnet.microsoft.com/download/dotnet-core/3.13、使用下载的dotnet-sdk-3.1.201-win-x64.exe进行安装4、项目使用中会报错：msbuild版本...
2020-04-10 14:53:58
37443
原创 【K8S】本地可执行k8s命令设置步骤
1、本地，用户下，新建tools文件夹，和 .kube 文件夹2、对于第一个 exe文件，我是从本地一个项目中找到的，直接copy过来3、到安装k8s集群的服务器上，copy相关的key值。cd ~/.kube/cat config把这个config里面的内容，copy到第2步的config文件里。4、到本地执行这个命令，就能执行成功，不用专门连接到...
2020-04-10 11:59:59
37113
原创 【Redis】Linux安装（常规方式）
wget http://download.redis.io/releases/redis-4.0.8.tar.gz tar xzvf redis-4.0.8.tar.gz cd redis-4.0.8 make cd src make install PREFIX=/usr/local/redis如果有执行出错，先安装gcc。安装命令为：yum -y ...
2020-04-03 17:16:29
36714
原创 【Redis】Linux安装（docker方式）
docker login dockerhub.**.comdocker pull dockerhub.**.com/common/**/redis:v3.2.0docker tag redis:latest dockerhub.**.com/common/**/redis:v3.2.0mkdir /usr/local/dockerredisuseradd -u 1001 dkredis ...
2020-04-03 17:06:25
36836
原创 【linux】linux上设置定时任务
由于linux上部署了比较多docker服务，在部署服务的过程中，会生成很多tag为none的镜像。需要做的就是，定时清理这些tag为none的镜像，为服务器减少占用空间。过程也很简单。第一步：在某个文件夹下，新建sh 文件内容是：删除tag为none的镜像#! /bin/bashdocker rmi -f `docker images | grep '<n...
2020-03-27 15:26:25
36783
原创 jenkins slave节点，运行sonar报错解决
1、jenkins master机器是linux系统，slave机器是windows 系统。2、报错信息如下图 3、问题分析看报错信息，是git clone代码时，有问题。使用的git是master机器上的路径，而不是slave 这台windows机器上的git。4、问题解决找到这个节点的配置，增加git ，环境变量的配置是之前就有了的，再运行，正常。...
2020-03-26 13:48:30
36893
原创 IDEA打jar包（带外部依赖）
工作中做了发送钉钉消息的功能，脚本中使用了钉钉的相关api，打jar包时，就需要带上这个外部依赖。使用的框架：springboot网上有很多maven 打包时，加入外部依赖的配置，但结果五花八门，看的人眼花，就使用了最原始的方法。1、下载了外部依赖，放入项目中2、pom.xml中只需要加入依赖，不需要build目录 <dependencies> ...
2020-03-24 16:56:36
39569
2
原创 Mongo报错处理： MongoDB.Driver.MongoCommandException: Command saslContinue failed: Authentication failed
部署mongo的方式：传统部署部署时设置了用户名，密码项目中配置了正确的用户名和密码，但运行时，查询日志相关功能时，总会报上面的错误。解决方法：mongo换成了docker方式部署，就可以了。原因未知：不知道是不是版本问题。...
2020-03-16 14:48:59
39866
原创 jenkins部署docker项目时报错
jenkins部署docker项目时报错docker-compose -H tcp://172.**.**.**:12375 -f docker-compose.yml up -dNetwork _default declared as external, but could not be found. Please create the network manually using `d...
2020-03-11 17:24:23
37844
1
原创 【docker】增加dockerhub的访问
修改配置文件/usr/lib/systemd/system/docker.serviceExecStart=/usr/bin/dockerd --insecure-registry=192.1**.***.***systemctl daemon-reloadsystemctl start docker其实不够，需要执行service docker statusse...
2020-03-11 17:21:35
36921
原创 【linux】服务器的准备工作
鉴于公司测试服务器，目前是我在管理，特此整理，一台运维分配的服务器，需要额外安装哪些程序，才能适用于测试环境应用。1、docker 安装2、docker 远程可访问安装3、yum install lrzsz 安装上传下载命令4、vi /usr/lib/systemd/system/docker.servicesystemctl daemon-reload...
2020-02-28 14:07:45
36817
原创 【jenkins】jenkins 与 gitlab 打通自动触发
目的：在开发分支develop有push操作的时候，自动触发jenkins上的部署到开发环境的job，实现开发环境自动部署。步骤：1、jenkins上安装 Gitlab Hook Plugin 和 GitLab Plugin 安装中的错误处理 在插件管理——可选插件，进行搜索安装，总会报错。 于是到jenkins的官方下载插件的地址，自主下载，然后上...
2020-02-26 14:27:45
37379
原创 .net core 自动化测试覆盖率的统计方法
使用技术：dotnet cover第一步：从gitlab上下载项目代码，并且运行相关的前端环境，使项目本地运行ok。第二步：安装dotnet cover链接：https://pan.baidu.com/s/1dV6SCHNb2BIdoPGZT_m3lQ提取码：1yo1安装完成后，会在VS中，自动生成插件第三步：dotnet cover的使用选择的文件...
2020-02-24 17:34:10
37473
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人