- 博客(41)
- 收藏
- 关注
RSS订阅原创 基于docker-compose搭建mongo的replicaSet服务
基于docker-compose搭建mongo的replicaSet服务 1.备份和恢复 备份 mongodump -h 127.0.0.1:27017 -u root -p 123456 -o ./dump 恢复 mongorestore -h 127.0.0.1:27017 -u root -p 123456 ./dump 注意：多replicaSet需要在Primary节点恢复 2.docker-compose示例 version: '3.3' services: mongodb1: i
2022-03-31 13:25:21
3159
原创 使用Rancher安装k8s
使用Rancher安装k8s 提前安装docker 遇到的问题 # sudo apt install ufw sudo ufw disable sudo ufw status # sudo apt install firewalld sudo systemctl stop firewalld iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPT iptables -F 使用docker安装Ranche
2022-02-25 13:11:41
1022
原创 Ubuntu安装docker开发环境
Ununtu安装docker开发环境 1.使用apt安装docker和docker-compose # 安装docker sudo apt-get install docker.io sudo groupadd docker sudo gpasswd -a ${USER} docker sudo systemctl restart docker # 安装dokcer-compose sudo apt-get install docker-compose 2.更换国内源 修改/etc/docker/dae
2022-02-25 13:01:12
639
原创 Ubuntu系统golang开发环境搭建
ubuntu golang安装 1.进入go语言中文网https://studygolang.com/dl，查看自己需要的版本 2.下载并解压 wget https://dl.google.com/go/go1.14.1.linux-amd64.tar.gz sudo tar -zxvf go1.16.14.linux-amd64.tar.gz -C /usr/local 3.加入环境变量 修改profile vim $HOME/.profile 写入以下内容 export GOROOT=/usr/lo
2022-02-18 10:11:50
1243
原创 使用docker自定义nginx服务
使用docker自定义nginx服务 Dockerfile文件 FROM nginx COPY nginx.conf /etc/nginx/conf.d/default.conf # 此处更换为自己需要移动的文件或文件夹 COPY XXX /usr/share/nginx/html/ nginx.conf文件 server { listen 80; server_name _; client_max_body_size 1000m; autoindex on; a
2021-12-30 18:18:07
1508
原创 Ubuntu系统Docker使用nvidia显卡
Ubuntu系统Docker使用GPU 1.配置nvidia源 curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | \ sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/
2021-12-15 10:10:58
2373
原创 ubuntu系统初始化及python开发环境安装
ubuntu系统初始化及开发环境安装 1.修改apt源(以阿里源为例) deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ focal-security ma
2021-12-13 10:44:21
1844
原创 Pandas可视化与文件读取
pandas可视化 基本绘图：绘图 import pandas as pd import numpy as np import matplotlib.pyplot as mp df = pd.DataFrame(np.random.randn(10,4),index=pd.date_range('2018/12/18', periods=10), columns=list('ABCD')) df.plot() mp.show() plot方法允许除默认线图之外的少数绘图样式。 这些方法可以作为p
2021-08-11 11:12:52
363
原创 Pandas数据表关联操作
pandas数据表关联操作 Pandas具有功能全面的高性能内存中连接操作，与SQL等关系数据库非常相似。 Pandas提供了一个单独的merge()函数，作为DataFrame对象之间所有标准数据库连接操作的入口。 合并两个DataFrame： import pandas as pd left = pd.DataFrame({ 'student_id':[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20], 'stud
2021-08-11 11:11:30
3134
原创 Pandas描述性统计
pandas描述性统计 数值型数据的描述性统计主要包括了计算数值型数据的完整情况、最小值、均值、中位 数、最大值、四分位数、极差、标准差、方差、协方差等。在NumPy库中一些常用的统计学函数也可用于对数据框进行描述性统计。 np.min 最小值 np.max 最大值 np.mean 均值 np.ptp 极差 np.median 中位数 np.std 标准差 np.var 方差 np.cov 协方差 实例： import pandas as pd import numpy as np # 创
2021-08-11 11:09:50
3461
原创 Pandas时间日期处理
pandas日期处理 # pandas识别的日期字符串格式 dates = pd.Series(['2011', '2011-02', '2011-03-01', '2011/04/01', '2011/05/01 01:01:01', '01 Jun 2011']) # to_datetime() 转换日期数据类型 dates = pd.to_datetime(dates) print(dates, dates.dtype, type(dates)) # datet
2021-08-11 11:06:53
692
原创 Pandas核心数据结构操作
核心数据结构操作 列访问 DataFrame的单列数据为一个Series。根据DataFrame的定义可以 知晓DataFrame是一个带有标签的二维数组，每个标签相当每一列的列名。 import pandas as pd d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])} df = pd.DataFrame(
2021-08-11 10:54:13
386
原创 Pandas基础
pandas介绍 Python Data Analysis Library pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入 了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。 pandas核心数据结构 数据结构是计算机存储、组织数据的方式。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。 Series Series可以理解为一个一维的数组，只是index名称可以自己改动。类
2021-08-11 10:52:29
134
原创 Linux下给jupyter添加serverextension
自定义jupyter后台接口 首先确保已经安装了jupyter，如果没有则执行pip3 install jupyter 1.安装自定义的python module 目录机构结构为 setup.py my_module/ init.py setup.py代码 import setuptools setuptools.setup( name='my_module', version='0.1', packages=['my_module'], ) my_module/ini
2021-07-15 10:18:25
981
原创 IO多路复用
1. 网络并发模型概述 什么是网络并发 在实际工作中，一个服务端程序往往要应对多个客户端同时发起访问的情况。如果让服务端程序能够更好的同时满足更多客户端网络请求的情形，这就是并发网络模型。 循环网络模型问题 循环网络模型只能循环接收客户端请求，处理请求。同一时刻只能处理一个请求，处理完毕后再处理下一个。这样的网络模型虽然简单，资源占用不多，但是无法同时处理多个客户端请求就是其最大的弊端，往往只有在一些低频的小请求任务中才会使用。 2. 多进程/线程并发模型 多进程/线程并发模中每当一个客户端连接
2021-07-09 16:43:59
131
原创 Python多线程（与进程的区别）
线程 (Thread) 1. 线程概述 什么是线程 【1】 线程被称为轻量级的进程，也是多任务编程方式 【2】 也可以利用计算机的多cpu资源 【3】 线程可以理解为进程中再开辟的分支任务 线程特征 【1】 一个进程中可以包含多个线程 【2】 线程也是一个运行行为，消耗计算机资源 【3】 一个进程中的所有线程共享这个进程的资源 【4】 多个线程之间的运行同样互不影响各自运行 【5】 线程的创建和销毁消耗资源远小于进程 2. 多线程编程 线程模块： threading 创建方法 【1】
2021-07-09 16:38:37
244
原创 Python多进程
进程（Process） 1. 进程概述 定义： 程序在计算机中的一次执行过程。 程序是一个可执行的文件，是静态的占有磁盘。 进程是一个动态的过程描述，占有计算机运行资源，有一定的生命周期。 进程状态 三态 就绪态 ： 进程具备执行条件，等待系统调度分配cpu资源 运行态 ： 进程占有cpu正在运行 等待态 ： 进程阻塞等待，此时会让出cpu 五态 (在三态基础上增加新建和终止) 新建 ： 创建一个进程，获取资源的过程 终止 ： 进程结束，释放资源的过程
2021-07-09 16:32:02
200
原创 Python网络编程TCP(与UDP对比)
TCP 传输方法 1. TCP传输特点 面向连接的传输服务 传输特征 ： 提供了可靠的数据传输，可靠性指数据传输过程中无丢失，无失序，无差错，无重复。 可靠性保障机制（都是操作系统网络服务自动帮应用完成的）： 在通信前需要建立数据连接 确认应答机制 通信结束要正常断开连接 三次握手（建立连接） 客户端向服务器发送消息报文请求连接 服务器收到请求后，回复报文确定可以连接 客户端收到回复，发送最终报文连接建立 四次挥手（断开连接） 主动方发送报文请求断开连接 被动方收到请求后，立
2021-07-09 16:26:57
319
原创 Python网络编程UDP
UDP 传输方法 1. 套接字简介 套接字(Socket) ： 实现网络编程进行数据传输的一种技术手段,网络上各种各样的网络服务大多都是基于 Socket 来完成通信的。 Python套接字编程模块：import socket 2. UDP套接字编程 创建套接字 sockfd=socket.socket(family,type) 功能：创建套接字 参数：family 网络地址类型 AF_INET表示ipv4 type 套接字类型 SOCK_DGRAM
2021-07-09 16:21:28
307
原创 pymysql模块
pymysql是一个第三方库，如果自己的计算机上没有可以在终端使用命令进行安装。 sudo pip3 install pymysql pymysql使用流程 建立数据库连接：db = pymysql.connect(…) 创建游标对象：cur = db.cursor() 游标方法: cur.execute(“insert …”) 提交到数据库或者获取数据 : db.commit() / cur.fetchall() 关闭游标对象 ：cur.close() 断开数据库连接 ：db.close()
2021-07-05 16:58:57
152
原创 MYSQL事务控制
1. 事务概述 MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，既需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，如果操作就必须同时操作成功，如果有一个不成功则所有数据都不动。这时候数据库操作语句就构成一个事务。事务主要处理数据的增删改操作。 定义 一件事从开始发生到结束的过程 作用 确保数据操作过程中的数据完整和使用安全。 2. 事务操作 开启事务 mysql>begin; 开始执行事务中的若干条S
2021-07-05 16:56:07
211
原创 MYSQL函数和存储过程
存储过程和函数是事先经过编译并存储在数据库中的一段sql语句集合，调用存储过程和函数可以简化应用开发工作，提高数据处理的效率。 1. 函数创建 delimiter 自定义符号 create function 函数名(形参列表) returns 返回类型 -- 注意是retruns begin 函数体 -- 若干sql语句，但是不要直接写查询 return val; end 自定义符号 delimiter ; 释义： delimiter 自定义符号 是为了在函数内些语句方便，制定除了
2021-07-05 16:54:20
125
原创 MYSQL外键约束和表关联
1. 外键约束 约束 : 约束是一种限制，它通过对表的行或列的数据做出限制，来确保表的数据的完整性、关联性 foreign key 功能 : 建立表与表之间的某种约束的关系，由于这种关系的存在，能够让表与表之间的数据，更加的完整，关连性更强，为了具体说明创建如下部门表和人员表。 示例 # 创建部门表 CREATE TABLE dept (id int PRIMARY KEY auto_increment,dname VARCHAR(50) not null); # 创建人员表 CREATE TABLE
2021-07-05 16:50:56
2323
原创 MYSQL索引操作
1. 概述 定义 索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。 优缺点 优点 ： 加快数据检索速度,提高查找效率 缺点 ：占用数据库物理存储空间，当对表中数据更新时,索引需要动态维护,降低数据写入效率 注意 ： 通常我们只在经常进行查询操作的字段上创建索引 对于数据量很少的表或者经常进行写操作而不是查询操作的表不适合创建索引 2. 索引分类 普通(MUL) 普通索引 ：字段值无约束,KEY标志为 MUL 唯一索引(UNI
2021-07-05 16:47:59
126
原创 MYSQL 聚合操作
聚合操作指的是在数据查找基础上对数据的进一步整理筛选行为，实际上聚合操作也属于数据的查询筛选范围。 1. 聚合函数 方法 功能 avg(字段名) 该字段的平均值 max(字段名) 该字段的最大值 min(字段名) 该字段的最小值 sum(字段名) 该字段所有记录的和 count(字段名) 统计该字段记录的个数 eg1 : 找出表中的最大攻击力的值？ select max(attack) from sanguo; eg2 : 表中共有多少个英雄？ select count
2021-07-05 16:46:25
2384
1
原创 MYSQL高级查询
模糊查询 LIKE用于在where子句中进行模糊查询，SQL LIKE 子句中使用百分号%来表示任意0个或多个字符，下划线_表示任意一个字符。 SELECT field1, field2,…fieldN FROM table_name WHERE field1 LIKE condition1 ``` ```sql e.g. mysql> select * from class where name like ‘A%’; ``` as 用法 在sql语句中as用于给字段或者表重命名 se..
2021-07-05 16:39:43
236
原创 MYSQL数据库基本命令
MYSQL数据库基本操作 1.库操作 查看已有库 show databases; 创建库 create database 库名 [character set utf8]; e.g. 创建stu数据库，编码为utf8 create database stu character set utf8; create database stu charset=utf8; 注意：库名的命名 数字、字母、下划线,但不能使用纯数字 库名区分字母大小写 不要使用特殊字符和mysql关键字 切换库
2021-07-05 16:30:12
429
原创 Python正则表达式
1. 概述 定义 即文本的高级匹配模式，其本质是由一系列字符和特殊符号构成的字串，这个字串即正则表达式。 原理 通过普通字符和有特定含义的字符，来组成字符串，用以描述一定的字符串规则，比如：重复，位置等，来表达某类特定的字符串，进而匹配。 2. 元字符使用 普通字符 匹配规则：每个普通字符匹配其对应的字符 e.g. In : re.findall('ab',"abcdefabcd") Out: ['ab', 'ab'] 注意：正则表达式在python中也可以匹配中文 或关系 元字符:
2021-07-05 16:18:47
154
原创 Python文件操作
Python文件操作 文章目录Python文件操作1. 引入2. 文件读写操作2.1 打开文件2.2 读取文件2.3 写入文件2.4 关闭文件2.5 with操作2.6 读写缓冲区2.7 文件偏移量3. os模块 1. 引入 什么是文件 文件是保存在持久化存储设备(硬盘、U盘、光盘…)上的一段数据，一个文本，一个py文件，一张图片，视频音频等这些都是文件。 文件分类 文本文件：打开后会自动解码为字符，如txt文件，word文件，py程序文件。 二进制文件：内部编码为二进制码，无法通过文字编码解析，
2021-07-05 16:11:48
151
原创 操作系统Linux常用命令
文章目录1. Linux操作系统认知1.1 操作系统（Operation System简称OS）1.2 Linux系统介绍1.3 文件系统2. Linux常用命令2.1 终端与命令行2.2 Linux常用命令2.2.1 帮助命令2.2.2 基础操作命令2.2.3 文件操作2.2.4 压缩解压2.2.5 权限管理2.2.6 显示展示命令2.2.7 其他命令3. Linux服务器环境3.1 vi编译器3.1.1 什么是vi3.1.2 学习目的3.1.3 操作使用3.2 添加用户3.2.1 基本概念3.2.2
2021-07-02 16:55:25
957
原创 解决django的sqlite3的database is locked
解决django的sqlite3的database is locked OperationalError: database is locked SQLite 是一个轻量级数据库，因此不能支持高并发。错误表明您的应用程序遇到的并发性超出了默认配置中的处理能力。 这个错误意味着一个线程或进程在数据库连接上有一个排他锁，另一个线程超时等待锁被释放。 Python的SQLite包装器有一个默认超时值，用于确定第二个线程在超时并引发错误之前允许在锁定上等待多长时间。 如果您收到此错误，可以通过以下方式解决： 切换
2021-06-28 17:24:10
3393
原创 openpyxl使用
openpyxl使用 openpyxl官方文档 https://openpyxl.readthedocs.io/en/stable/index.html 使用阿里镜像源安装依赖 pip3 install openpyxl -i https://mirrors.aliyun.com/pypi/simple/ 创建Workbook和Sheet Workbook就是一个excel文件的python对像 from openpyxl import Workbook, load_workbook # Create a
2021-06-17 10:55:28
405
原创 Flask数据库迁移
Flask数据库迁移 数据库迁移工具安装 pip3 install Flask-Migrate==2.7.0 Flask-Script==2.0.6 Flask-SQLAlchemy==2.5.1 创建管理文件manage.py from flask import Flask from flask_sqlalchemy import SQLAlchemy from flask_script import Manager, Server from flask_migrate import Migrate,
2021-06-15 10:34:59
539
3
原创 Flask响应结果
Flask的视图函数可返回三个参数，响应内容, 响应码, 响应头。大体有四种情况： 1.响应内容 2.响应内容, 响应码 3.响应内容, 响应头 4.响应内容, 响应码, 响应头 显然这里的重点是响应内容，就视图函数的返回值而言，官方给的定义是可以返回 a string, dict, tuple, Response instance, or WSGI callable 1.响应内容为字符(节)串，字典，会被自动转换成Response对象 返回值 类型转换 字符(节)串 以该字符为响应体、
2021-04-12 20:29:08
569
1
原创 Linux下，sshpass的使用方法
Linux下，sshpass的使用方法1.在线安装2.示例 ssh辅助工具，不用单独输入密码就可以连接ssh，一行命令连接服务器 不过不建议在公网环境下使用 1.在线安装 yum安装: yum install sshpass apt安装: apt-get install sshpass alpine安装: apk add sshpass 2.示例 连接ssh: sshpass -p xxx ssh root@192.168.11.11 常见错误: 报错：sshpass: Failed to run co
2021-04-12 17:08:26
5770
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人