u013568834的专栏

原创 windows python 监控python ，关闭，启动，重启

windows python 监控python ，关闭，启动，重启

原创 pip 批量安装模块

requirements.txt 文件DBUtils==2.0.1fastapi==0.63.0PyMySQL==1.0.2requests==2.12.5urllib3==1.19.1uvicorn==0.13.4pip install --no-cache-dir -r requirements.txt

原创 python 最简单基础教程

环境自行官网下载安装。前提说明：python是自上向下执行代码,有严格的缩进要求。#1.变量tt = 2 int类型t = '2' 字符串类型t = 2.2 float类型t = [2,3] 数组(列表)类型t = {'s':'v'} 字典类型python 声明变量不用指定类型 根据值得类型 具体详细解释自行百度#2.循环t = [2,3,4,5]#循环内容for i in t: print(i)#根据长度循环 len(t)可以替换成数字for

原创 git每次都要输入密码解决

个人原因再生成密钥的时候设置了密码，两种解决方法:1.修改密码，把原密码修改为空这样就可以把密码去掉；步骤:输入命令(ssh-keygen -p) -> 写入老密码->写入新密码（可以为空不要密码）2.重新生成密钥。...

原创 Dockerfile exec “$@“

传递给脚本或函数的所有参数。如：$1$2$3echo "$@"执行会输出 $1$2$3 每个参数。

原创 shell 脚本语言记录

if [ -f file ] 如果文件存在if [ -d … ] 如果目录存在if [ -s file ] 如果文件存在且非空if [ -r file ] 如果文件存在且可读if [ -w file ] 如果文件存在且可写if [ -x file ] 如果文件存在且可执行

原创 0/2 nodes are available: 2 node(s) didn‘t match Pod‘s node affinity/selector

问题大概就是没有合适的节点，可能是污点造成也可能是没有匹配到条件满足的节点，可以看看是不是有nodeSelector属性，然后排除是否真的是没有可以匹配的节点。

原创 k8s service

类型ClusterIP：Kubernetes默认会自动设置Service的虚拟IP地址，仅可被集群内部的客户端应用访问。NodePort：将Service的端口号映射到每个Node的一个端口号上，这样集群中的任意Node都可以作为Service的访问入口地址，即NodeIP：NodePort。LoadBalancer：将Service映射到一个已存在的负载均衡器的IP地址上，通常在公有云环境中使用。ExternalName：将Service映射为一个外部域名地址，通过externalName

原创 linux 实用命令参考

#zcat ./access-20211117_000001.log.gz | awk '{print $9}' | sort | uniq -c | sort -nr##统计每行第九列不同字段出现的次数|：竖杠在命令中是管道的作用，意思就是把竖杠前面命令的结果当作后边命令的输入AWK:是一种处理文本文件的语言，是一个强大的文本分析工具。这个一句话说不完，本命令作用就是输出第九列内容sort:命令用于将文本文件内容加以排序。 -n 依照数值的大小排序。-r 以相反的顺序来排序。uniq:命令用于.

原创 java list 细节

for (int i = 0 ,j=dom.size();i<j;i++) { ********* if(i<j-1) { ********* }}这样不用在循环内循环调用list对象

原创 Flink k8s 部署模式 Application集群模式

官网上给出了部署方式，不过对于基础差一点难免困难一点，所以我把官网上的内容按照部署顺序写一下：# kubectl create -f flink-configuration-configmap.yaml # kubectl create -f jobmanager-service.yaml # kubectl create -f jobmanager-application-non-ha.yaml# kubectl create -f taskmanager-job-deployment.y

原创 k8s 术语

无规则，个人记录，如果错误或者缺少的可在评论区发出来。我会修改文章并注明。valueFrom：对Pod的元数据进行引用env:- name: POD_IP valueFrom: #环境变量不直接设置value，而是设置valueFrom对Pod的元数据进行引用。 fieldRef: #设置需要引用Pod的元数据信息 apiVersion: v1 fieldPath: status.podIP...

原创 python 探测IP端口

# -*-coding:utf-8-*-import loggingimport multiprocessingimport optparseimport osimport socketimport timefrom concurrent.futures.thread import ThreadPoolExecutorfrom queue import Queuefrom socket import *# LOG_FORMAT = "%(asctime)s - %(levelname.

原创 nginx升级到nginx-1.20.1

nginx升级到nginx-1.20.1步骤1.下载cd /usr/local && wget http://nginx.org/download/nginx-1.20.1.tar.gz2. 解压tar xzf nginx-1.20.1.tar.gz && cdnginx-1.20.13. 编译./configure --prefix=/usr/local/nginx1.20/ && make && make instal...

原创 my.cnf

[client]port=13306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8mb4[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid[mysql]no-auto-rehashdefault-character-set=utf8mb4[mysqld]port=13306datadir=/var/lib/.

原创 Flink Application Mode on Docke demo

官方介绍： 集群生命周期：Flink Application 集群是专用的 Flink 集群，仅从 Flink 应用程序执行作业，并且main()方法在集群上而不是客户端上运行。提交作业是一个单步骤过程：无需先启动 Flink 集群，然后将作业提交到现有的 session 集群；相反，将应用程序逻辑和依赖打包成一个可执行的作业 JAR 中，并且集群入口（ApplicationClusterEntryPoint）负责调用main()方法来提取 JobGraph。例如，这允许你像在 Kuberne...

原创 vue 打包发布项目404

vue + nginx 发布项目 静态文件404 问题刚接触vue 没有深入研究，说是快速开发，其实并不快，好多文档但是没有一个是从创建到发布的文档。官方文档都是说一些基础不好就听不懂的细节。切入正题问题如下：npm run build 打包后 用nginx 做web服务器。访问的时候css js都是404. 浏览器开发者工具Network中可以看到css js文件的路径都是少了项目名具体如下图：端口后面没有项目名，问题还是讨人厌的绝对路径和相对路径。百度都说是什么在config/.

原创 docker-compose ports下参数语法

ports 配置项分为短语法和长语法短语法比较常见的如：ports: - "3000" # 主机自动分配未被占用的端口 - "3000-3005" # 端口范围 规则和上边相同 - "8000:8000" # 比较常见的 容器端口8000 对应主机端口8000 - "9090-9091:8080-8081" # 端口范围 规则和上边一天相同 - "49100:22" - "127.0.0.1:8001:8001" # 绑定主机ip 默认所有范围0.0.0.0 - "

原创 docker集群服务资源控制

version: "3"services: test-py: image: test/pythoncpu:v1 deploy: mode: replicated replicas: 6 resources: limits: cpus: '0.50' memory: 500M reservations: cpus: '0.25' memor.

转载 docker-compose编排参数详解

一、前言Compose是一个用于定义和运行多容器Docker应用程序的工具。使用Compose，您可以使用YAML文件来配置应用程序的服务。然后，使用单个命令，您可以从配置中创建并启动所有服务。Compose可以.yml或.yaml作为文件扩展名。Compose适用于所有环境：生产，登台，开发，测试以及CI工作流程。关于docker compose技术可以查看官方文档Docker Compose以下的内容是确立在已经下载好Docker以及Docker Compos...

原创 k8s kubernetes 命令记录

kubeadm get pod #获取podkubeadm get node #获取节点##kubeadm reset 在宿主机ip有变动时 修改ip用到，先还原 然后在initkubeadm reset #运行这条命令将会还原当前节点上 kubeadm init 或者 kubeadm join 所做的所有更改。且如果使用外部 etcd，kubeadm reset 将不会删除任何 etcd 数据。这意味着如果再次使用相同的 etcd 节点运行 kubeadm init，你将看到以前的集群...

原创 Java虚拟机是如何加载Java类的？

原创 守护进程（daemon） nginx自动启动

cat << EOF >/lib/systemd/system/nginx.service> [Service]> Type=forking> ExecStart=/usr/local/nginx/sbin/nginx> RestartSec=3> Restart=always> EOF####ExecStart 设置启动命令####RestartSec 重启间隔时间#### Restart 定义何种情况 Systemd 会自动重启.

原创 docker 容器配置cpu占用率

配置参数：--cpu-quota=50000 --cpu-period=50000cpu-period:周期 单位：微秒（μs）cpu-quota:周期内占用时长关于cpu使用率网上有很多相关内容下面直接写测试结果python.py #测试代码def deadloop(): while True: passdeadloop()DockerfileFROM python:3.6ENV PATH /usr/local/bin:$path..

原创 异或 ^ XOR

public static void main(String[] args) { /** * 交换值，可以用作数据备份 z = x ^ y z为备份 只要 x y存在一个 都能知道另一个 */ int x = 1, y = 2; x = x ^ y; y = x ^ y; x = x ^ y; System.out.println("x===" + x); System.out.println("y===" + y); /** * 加密 */ b.

转载 Linux查找最近修改的文件

查找当前目录下.phtml文件中，最近30分钟内修改过的文件。<code>find . -name'*.phtml'-type f -mmin -30</code> 查找当前目录下.phtml文件中，最近30分钟内修改过的文件，的详细情况。<code>find . -name'*.phtml'-type f -mmin -30 -ls</code> 查找当前目录下，最近1天内修改过的常规文件。<code>find . -...

原创 python requests先获取请求资源的大小

# 关键代码 stream = True 参数，以流的方式读取# 执行代码 直接给出文件大小url = 'url自己找吧're = requests.get(url,stream=True)print(re.headers.get('Content-Length'))主要用在下载大文件def request_url(url, headers, file_path): m = hashlib.md5() start_time = time.time() with.

原创 python 字符串截取，拼接，填充

因为需求需要，用python更方便、更有优势。没有系统的学习python，就是简单看下hello world！ 算是入门了这里就记录一下自己写代码过程中所学（百度）1.字符串操作（1）字符串截取字符串[开始索引：结束索引：步长]切取字符串为开始索引到结束索引-1内的字符串步长不指定时步长为1 字符串[开始索引:结束索引]# 截取字符串str = 'hello world'str[2:3] 截取第3位到第4位 print(str[2:3]) ： llstr[:-1] 截取到倒数

原创 Flink 写入Kafka多个topic

Flink 写入Kafka 到多个Topic 我想到的有两种方法第一种：分流利用split()方法,不过现在已经被官方定位弃用的方法 ，给出的代替方案是side output，其实大致一样 都要多产生一个流。side output 在学习窗口算子的超时事件时应该能更清楚的了解（我当时时）。这种方案的缺点就是每多一个topic 都要多产生一个流再添加一个addSink()，需要修改逻辑。而且还要，如果有100个呢？addSink()addSink()addSink()addSin...

原创 mysql binlog三种模式的区别（row，statement，mixed）

数据库版本：mysql-5.7.32statement:执行sql：update log_user set name = 'admin3';############以下内容为mysql-bin.000002的新增内容############## at 745#201218 8:04:11 server id 1000 end_log_pos 810 CRC32 0xa7a54b83 Anonymous_GTID last_committed=2 sequence_number=3.

原创 apache druid order by

order by “只有”在查询结果有聚合函数的时候可以用官网介绍：The ORDER BY clause refers to columns that are present after execution of GROUP BY

原创 docker 容器运行自动关闭

docker 容器运行需要执行一个一直挂起的命令 比如top 或者打印日志docker容器如果没有前台程序运行会认为空闲，自动关闭退出。最近遇到的docker 运行tomcat和redis 容器tomcat 启动命令要使用 catalina.sh run 来启动./catalina.sh run 动态地显示tomcat后台的控制台输出信息Ctrl+C后退出并关闭服务redis自定义配置文件是在配置文件中的daemonize 要设置为no# 默认情况下 redis 不是...

原创 python 修改Excel

主要看加注释的import xlrdfrom xlutils.copy import copy#读取excelexcel = xlrd.open_workbook(r'C:\Users\wk\Desktop\222.xls')#cp对象wb = copy(excel)#读取工作表sheets = excel.sheets()[0]#读取工作表w_sheet = wb.get_sheet(0)i = 1lastrow = 0.0next_line = 0iszero = .

原创 kafka-eagle 使用配置及远程jmx端口设置遇到的问题

关于安装kafka-eagle网上已经有好多资源，这里就不再赘述安装过程很简单几乎没遇到问题，就是jmx配置遇到了些问题。下面就直接说kafka-server-start.sh 配置export JMX_PORT="9999"只有这个是大部分博主直接在文档里写明的。这就会在配置多主机kafka集群监控的时候导致如下问题。create has error,msg is java.rmi.ConnectException cannot be cast to javax.managemen.

原创 ERROR: Service “zoo1“ uses an undefined network “nginxlog-use“

ERROR: Service "zoo1" uses an undefined network "nginxlog-use"解决办法：在services同级生命外部网络networks: nginxlog-use: external: true

原创 Flink 测试报错 java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction

java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.

原创 kafka flume sasl 验证三

在monitor_nginx.conf 加入下面配置logser.sinks.kafka_monitor_nginx.kafka.producer.security.protocol = SASL_PLAINTEXTlogser.sinks.kafka_monitor_nginx.kafka.producer.sasl.mechanism = PLAINcp kafka的lib内jar到flume的lib下 cp以下包kafka-clients-2.5.0.jarlz4-java-1..

原创 使用框架其实是学习设计的思想

使用框架其实是学习设计的思想

原创 kafka 添加sasl认证 权限控制二

如果没看过上一篇的需要看完上一篇才能更容易理解在server.properties 中配置的超级管理员可以直接创建topic和输入内容想要实现权限控制需要用kafka-acls.sh来配置用户 kafka/bin/kafka-acls.sh查看已经配置的用户添加权限 添加用户wk2可以写入topic：nginxlog 内容的权限./kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.146:2181 --.

原创 kafka 添加sasl认证 权限控制

刚开始用到，按照网上写的配置，到最后要么验证失败 要么直接启动不了，发现好多都是写的不全，所以我这算是整理一下。其实都是整理一下。单机模式版本：apache-zookeeper-3.6.1-bin.tar.gzkafka_2.12-2.5.0.tgz官网都可以直接下载到1.解压安装正常解压就行2.配置zookeeper在zoo.cnf 最后面（我通常都在最后边）加authProvider.1=org.apache.zookeeper.server.auth.SASLA