Cryueh的博客

原创 Pandas常用函数

Pandas常用函数一、导入数据导入Pandas包和打印版本号import pandas as pdpd.__version__从列表创建s = pd.Series([0,1,2,3,4])s从字典创建s = pd.Series({'a':1,'b':2,'c':3,'d':4,'e':5})s从Numpy数组创建DataFrameimport numpy as nps = pd.DataFrame(np.random.randn(3,4), index=pd.date_ra

原创 Python_Pandas的ETL数据处理方法

Python_Pandas的ETL数据处理方法一、数据加载与导出1. read_csv数据加载2. to_csv写入文件并导出二、数据清洗1. 处理缺失值1. info()发现缺失值2. dropna()丢弃缺失值3. fillna()填充缺失值2. 处理无效值describe()检测无效值3. 处理重复值1. duplicated()发现重复值2. drop_duplicates()删除重复值三、数据过滤query()数据过滤四、数据转换1. 应用apply与映射map2. replace()替换3. 字

原创 MySQL事务和存储过程

1.事务1.1 存储引擎数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。Mysql的核心就是存储引擎。常见存储引擎InnoDB是事务型数据库的首选，执行安全性数据库，行锁定和外键。mysql5.5之后默认使用。MyISAM插入速度和查询效率较高，但不支持事务。MEMORY将表中的数据存储在内存中，速度较快。查看存储引擎

原创 MySQL高级

1.函数1.1 单行函数数学函数# 绝对值abs()# 向上取整,最接近并且大于等于该值的整数值ceiling()/ceil()# 向下取整,最接近并且小于等于该值的整数值floor()# 取模运算mode(m,n)# 求PI值PI()# 求幂运算pow(m,n)# 随机数rand() # 四舍五入round(m,n)# 截取m小数点后n位truncate(m,n)字符函数# 获取str的ascii码值ascii(str)# 将字符串转换为小写l

原创 MySQL基础2

1.运算符1.1 算术运算符 + - * /select 1+1; #2select 1-1; #0select 1*1; #1select 5/2; #2.5 select 3/0; #null(空)select 5 div 2; #取整select 5%2; #取模(余)运算1.2 比较运算符 = > < >= <= / != <>结果? true--> 1 / false ---> 0se

原创 MySQL基础

1.运算符1.1 算术运算符select 1+2;select 1-2;select 3*4;select 3/4; #0.75select 3/0; #nullselect 3 div 4; #整除1.2 比较运算符表达式为真结果为1,否则为0select 1>1;select 1<1;select 1<>1;select 1!=1;is true,is not true,is null,is not null,between and,no

原创 MySQL入门

1. 数据库和数据库管理系统1.1 数据库(DataBase)按照数据结构存储数据的仓库1.2 数据库管理系统(DBMS)(Database Management System)是操纵和管理数据库的软件系统RDBMS建立在关系模型之上的数据库管理系统,主要实现对结构化数据的管理。1979 年，Oracle 2 诞生，它是第一个商用的 RDBMS（关系型数据库管理系统），随后被卖给了军方客户。随着 Oracle 软件的名气越来越大，公司也改叫 Oracle 公司。20 世纪

原创 SQL经典入门脑图

原创 MySQL常用命令大全（Windows维护环境）

MySQL常用命令大全（Windows维护环境）1.mysql：连接数据库2. mysqladmin：修改用户密码3. grant on：新增用户4. create：创建数据库5. show databases：显示数据库6. drop database：删除数据库7. use：使用数据库8. select：当前连接的数据库9. create table：创建数据表10. desc：获取表结构11. drop table：删除数据表12. insert into ：向表中插入数据13. select fro

原创 Shell脚本编程大数据ETL方向

Shell脚本编程大数据ETL方向一、Shell概述二、Shell解析器三、Shell脚本入门四、Shell变量1. 系统变量2. 自定义语法3. 特殊变量：$n4. 特殊变量：$#5. 特殊变量：∗、*、∗、@6. 特殊变量：$?五、运算符六、条件判断七、流程控制1. if判断：2. case语句：3. for循环：4. while循环：八、read读取控制台输入九、函数1. 系统函数2. 自定义函数十、Shell工具(重点)1. cut剪切数据2. sed流编辑器3. awk文本分析4. sort排序十

原创 Shell正则表达式语法

Shell正则表达式语法字符说明\将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n"匹配字符"n”。"\n"匹配换行符。序列"\\“匹配”"，"\(“匹配”("。^匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。$匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。*零次或多次匹配前面

原创 Linux管理服务器常用高级指令

管理服务器时常用的高级命令查看创建删除修改修改修改查看当前文件列表ls -l创建空文件touch [文件名]删除rm -rf [文件名]修改文件vim [文件名]创建并修改vim [文件名]修改文件权限chmod 777 [文件名]拷贝文件cp -r [源文件] [目的目录]查看当前目录pwd创建mkdir [目录]删除rmdir,rm -rf [目录]移动目录mv [原目录] [新目录]递归修改目录权限给用户chown -R [用户] [文目录]递归

原创 Linux进程及服务管理

进程及服务管理Linux进程介绍在LINUX中，每个执行的程序（代码）都称为一个进程。每一个进程都分配一个ID号。每一个进程，都会对应一个父进程，而这个父进程可以复制多个子进程。例如www服务器。每个进程都可能以两种方式存在的。前台 与后台，所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作，但由于屏幕上无法看到的进程，通常使用后台方式执行[sshd , crond]。一般系统的服务都是以后台进程的方式存在，而且都会常驻在系统中。直到关机才才结束。ps：查看系统进

原创 Linux磁盘分区、挂载、管理

磁盘分区、挂载、管理Linux分区原理Linux来说无论有几个分区，分给哪一目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构 , Linux中每个分区都是用来组成整个文件系统的一部分。Linux采用了一种叫“载入”的处理方法，它的整个文件系统中包含了一整套的文件和目录，且将一个分区和一个目录联系起来。这时要载入的一个分区将使它的存储空间在一个目录下获得。lsblk：查看所有设备(光驱、U盘、硬盘)挂在情况挂载硬盘硬盘分区：分区命令 fdisk /dev/s

原创 Linux定时任务调度管理命令

定时任务调度crond [参数]：定时任务-e：编辑crontab定时任务-l：查询crontab任务-r：删除当前用户的所有crontab任务设置任务调度文件：/etc/crontab设置个人任务调度。执行crontab –e命令。接着输入任务到调度文件如：*/1 * * * *ls –l /etc/> /tmp/to.txt意思说每小时的每分钟执行ls –l /etc/ > /tmp/to.txt命令...

原创 Linux组管理、权限管理常用命令

组管理组介绍在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念。文件/目录 所有者ls - ahl：查看文件的所有者chown [新用户] [文件/目录]：修改文件所有者chown tom apple.txt //将apple.txt赋给tom用户组的创建groupadd [组名]：创建组groupadd monster //创建monster组useradd -g mons

原创 Linux常用命令详细说明及vim超详细快捷键

vi和vim常用的三种模式正常模式插入模式(编辑模式)命令行模式2. vim快捷键[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hML3PLmt-1605688462061)(https://www.runoob.com/wp-content/uploads/2015/10/vi-vim-cheat-sheet-sch1.gif)]3. Linux管理命令cd /home/ 切换/home/目录shutdown –h now 立该进行

原创 Linux目录结构及重要文件目录说明

/bin [重点] (/usr/bin 、 /usr/local/bin)是Binary的缩写, 这个目录存放着最经常使用的命令/boot [重点]存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件/etc [重点]所有的系统管理所需要的配置文件和子目录 my.conf/home [重点]存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。/media [重点]linux系统会自动识别一些设备，例...

原创 使用Typora+PicGo+免费图床实现自动上传图片一键发布博客

使用Typora自动上传图片至图床第一步：Typora安装PicGo插件下载安装PicGo应用安装及配置：更新地址Typora设置：第二步：注册图床(七牛云图床)并配置注册七牛云图床，每月10G流量免费。注册地址创建空间并设置为公开空间绑定域名复制密钥AK及SK配置PicGo图床环境：​ 存储区域地区编号代码如下：​ ​ 其他图床参考可参考该链接进行配置​ 第三步：测试Typora测试PicGo图床是否配置成功测试Ty