日格一物

查看当前目录下, 所有目录所占空间 (一级目录)查看目录所占空间 du -sh [目录]查看的目录深度是1级, 2则是2级。查看磁盘空间 df -h。

Vim个人常用命令。

Shell 输出连续日期目的 : 给定起始与结束日期, 输出连续日期 (年、月、日)应用场景 : 按照 年、月、日 来循环调度脚本.一、输出连续的日期 (输出截止到昨天日期, 格式 yyyy-MM-dd)#!/bin/shstartTime="20191001"endTime=`date -d '-1 day' +%Y%m%d`while [ $startTime -le $endTime ]do dayTime=`date -d '$startTime' +%Y-%m-%d` ec

贪吃蛇用python3实现小时候非常喜欢的: Gluttonous Snake ???? 来玩~前期准备pip3 下载 pygame 模块➜ ~ pip3 install pygameCollecting pygame Downloading pygame-2.0.1-cp37-cp37m-macosx_10_9_intel.whl (6.9 MB) |████████████████████████████████| 6.9 MB 368 kB/sInstalling co

转载至: shell if [ -d filename] 文件判断整理并翻译部分:[ -a FILE ] 如果 FILE 存在则为真。[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。[ -d FILE ] 如果 FILE 存在且是一个目录则为真。[ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。[ -g FILE ] 如果 FILE

Hive 常用函数备忘1.转换函数cast (value as type) , 显式的将一个类型的数据转化为另一种类型的数据, 若不能进行转化则返回 null 值.select cast(salary as char(1));返回一个char类型的salary, 若不能进行转化则返回null值.2.条件判断函数case [...] when ... then ... else ... end第一种: case when 条件 then 满足条件后的结果case when tb1.os

git for Mac一. 安装配置 git查看 Mac 自带 git, 若无则下载: brew install git➜ ~ git versiongit version 2.24.3 (Apple Git-128)设置 git 提交的 username / emailgit config --global user.name "Doooing"git config --global user.email "qxk5055@163.com"配置 ssh , 创建本

(一). 前置条件Linux 中下载安装 mysql.0. 卸载之前安装的mysql1.查看当前安装 mysql 情况 rpm -qa|grep -i mysql2.停止 mysql 服务 service mysql stop3.删除之前安装的 mysql rpm -e --nodeps 包名4.查找旧版本 mysql 的目录及文件 find / -name mysql5.删除对应的mysql目录 rm -rf 文件6.卸载后my.cnf不会自动删除 rm -rf /etc/my

一. Hadoop 高可用原理背景: 完全分布式只有一个namenode,存在单点故障问题.解决: 高可用有2个namenode(active|standy热备),但同一时间只有一个对外提供服务.问题: 一旦active宕机,stanby需立即切换为actice,让集群一直有namenode.实现: 保证两件事：1.元数据一致 2.无缝衔接(一). stanby namenode 和 active namenode的元数据 保持一致namenode: fsiamge (集群启动时产生的初始文件)

(一). 集群规划安装结构hadoop01hadoop01hadoop03hdfsnamenodedatanodedatanodedatanodesecondarynamenodemapreduceyarnresourcemanagernodemanagernodemanagernodemanager(二). 开始安装1.上传 hadoop-2.7.6.tar.gz, 解压至 /opt/tar -zxvf

Bilibli《吴恩达机器学习系列课程》1-6 学习笔记一.机器学习通俗理解定义对于给定任务 T ,在学习经验 E 后,会提高性能度量 PFor example1. 围棋软件阿法狗对于给定任务 T(下围棋), 在学习经验 E(每天下棋上万盘), 会提高性能度量 P(胜率)2. 区分垃圾邮件对于给定任务 T(标记垃圾邮件), 在学习经验 E(使用者标记垃圾邮件的行为), 会提高性能度量 P(标记垃圾邮件成功率)二.机器学习大体分类监督学习理解: 我们教会计算机去做某件事「给定一

使用 SQLFlow 语法完成对鸢尾花模型训练、解释、评估、预测整体训练情况及运行结果如下图:对应 SQLFlow 语法1.检查训练数据%%sqlflowselect * from iris.train limit 5;2.训练模型模型: DNN分类器参数: 分类数=3,包含两个隐藏层且每个隐藏层有十个隐藏单元,训练次数特征列: 花瓣长宽、花萼长宽标签: 鸢尾花类别已训练模型保存对应数据库%%sqlflowSELECT * FROM iris.train TO T

Shell批量 json转sql文件问题背景: 华为云平台导出Hive备份文件为 json 格式, 阅读体验不好, 因此将其转化为 sql 文件.解决方式: 使用 shell 脚本 + 开源 jq 命令, 批量完成 json文件 转 sql 文件.jq : 一个轻量级、命令行的 json 处理器, 参考: jq 官方网站Linux 系统下步骤:1.下载 jq , 可使用多种方式进行下载: linux: rpm、wget、yum, Mac: homebrew, win: 官网下载 …wget

Mac 虚拟网络配置(centos 7)1. 防火墙: 关闭 – 禁止自启 – 查看状态[root@hadoop01 ~]# systemctl stop firewalld[root@hadoop01 ~]# systemctl disable firewalld[root@hadoop01 ~]# systemctl status firewalld firewalld.service - firewalld - dynamic firewall daemon Loaded: load

备忘查看mysql数据库下,user信息:host,user,密码select * from user;select host,user,authentication_string from user;将host修改为所有均可访问update user set host = ’%’ where user = ’root’;授权grant all privileges on *.* to root@"%" identified by "password" with grant option;

在 Kubernetes 集群上安装 SQLFlow Playground官网参考: https://sql-machine-learning.github.io/sqlflow/doc/run/kubernetes/一. 安装 Docker, 参考: https://docs.docker.com/engine/install/centos/0. 卸载之前 Dockeryum remove docker \ docker-client \ docker-clien

备忘基本思路:1.虚拟机增加磁盘容量2.把增加的容量添加到分区中Linux 硬盘扩容及后续配置

前言: maven3.6.3版本与Spring存在不兼容问题, 从坑里爬出的简单方法就是回退版本至3.5.41.使用Homobrew安装maven3.5.4查看brew可安装版本➜ ~ brew search maven==> Formulaemaven maven-shell maven@3.3maven-completion maven@3.2 maven@3

前置: 了解自己使用的是哪个shell.1.查看Mac中所有自带shell➜ ~ cat /etc/shells# List of acceptable shells for chpass(1).# Ftpd will not allow users to connect who are not using# one of these shells./bin/bash/bin/csh/bin/dash/bin/ksh/bin/sh/bin/tcsh/bin/zsh2.查看当前

学习文档+学习视频 (包含从零开始安装视频 [在进阶篇中第六课时] )链接：https://pan.baidu.com/s/14RkiI0j_953xg_4kB5Zh5g提取码：2t21分享是传统美德, 方便大家一起学习!

从 win 换到 Mac 之后, 安装软件变得很简单.记录一下 Mac 使用 Homebrew 安装 mysql 5.7 过程.前置版本信息:Mac 版本: macOS Catalina 10.15.5➜ ~ sw_versProductName: Mac OS XProductVersion: 10.15.5BuildVersion: 19F101Homebrew 版本:➜ ~ brew -vHomebrew 2.4.16Homebrew/homebrew-core (git

数组:它是一个用来存储同一个数据类型多个元素的一个容器（数组长度是固定的，数组中存储的元素的数据类型要求一致）格式：格式1: 数据类型[] 数组名 = new 数据类型[数组长度];格式2: 数据类型[] 数组名 = new 数据类型[]{元素值1,元素值2,..};格式3: 数据类型[] 数组名 = {元素值1,元素值2,..};数组操作的常见问题：NullPointerException: 空指针异常ArrayIndexOutOfBoundsException: 数组越界

选择结构 if方式1:格式：if(条件表达式) {语句体;}执行流程：如果条件表达式值为true, 执行语句体如果条件表达式值为false,不执行语句体方式2：格式:if(条件表达式) {语句体1;} else {语句体2;}执行流程：如果条件表达式值为true, 执行语句体1如果条件表达式值为fales,执行语句体2方式3：格式：if(条件表达式1) {语句体1;} else if (条件表达式2) {语句体2;} else if (条件表达式

有些长时间不使用的函数, 经常会忘记函数的使用方式, 甚至忘记函数名, 仅仅记着某某函数可以实现某个功能, 对于这种情况通常是在使用时进行 google, 但是 google 上信息良莠不齐, 对的错的都有, 如果初学者不具有辨识能力, 还是建议直接在 Hive 中查找、查看函数的使用方式比如我就在网上查了半个小时不知所云, 最后想起直接在 Hive 中查, 豁然开朗.所以记录一下, 如果以后需要查找函数, 或者查看函数使用方式, 一定一定要先去 Hive 本身中查!!!下面记录一下语法:1.查看y

1.Hive 简介构建在hadoop之上,用来满足企业大数据存储和数据分析需求的数仓工具.(hadoop是分布式架构,有优秀的水平扩展能力,Hive自然具有相同优点)2.Hive与传统数仓传统数仓:既是数据存储产品又是数据处理分析产品(同时支持数据的存储与处理分析)Hive:本身并不支持数据的存储与处理分析(一个面向用户的编程接口,提供一种编程语言,通过该语言HiveQL去编写用户分析需求)3.Hive如何完成数据存储与分析Hive架构在底层的hadoop核心组件之上的(HDFS,MapRed

1.什么是数据仓库?一个面向主题的、继承的、相对稳定的、反应历史变化的数据集合,用于支持管理决策.2.数据仓库的根本目的?本质就是为了支持企业内部的商业分析和决策.(企业的经营管理,基于数据仓库的分析结果,做出相关的经营决策)3.数仓历史从上世纪90年代兴起 --> 指导企业开展生产经营管理 --> 在众多企业中应用广泛4.数仓的体系结构数据源: 企业生产、经营、业务等数据,用以对企业相关经营行为进行分析;数据存储和管理: 数据源中数据需要经过抽取、转换、加载(ETL)过程,

dual 是一个实际存在的虚表,存在的目的不是为了保存数据,完善Oracle的查询语法规则;在Oracle中,查询语句语法: select * from table; 必须指定from表!!例如: 像hive或者mysql可以直接select current_timestamp(),select now()等操作获取当前时间;但是在Oracle中查询语句必须指定from表,所以获取系统当前时间: select sysdate from dual;oracle保证dual里面永远只有一条记录。我们可

来源网络的一个比喻,解释什么是Dadabase,schema,user,table…“我们可以把Database看作是一个大仓库。仓库分了很多很多的房间，Schema就是其中的房间。一个Schema代表一个房间,User就是每个Schema房间的主人。Table可以看作是每个Schema中的床，床必须放入每个房间中，不能放置在房间之外,否则睡觉时就无家可归了。Column(列)和Line(行)就可以看作Table(床)上放置的很多物品。数据库中存储数据的基本单元是Table,对应现实中每个仓库放

获得当前季度select trunc((to_char(sysdate,'mm')+2)/3) from dual;获得当前月份select to_char(sysdate,'mm') from dual;获得当前时间对应的季度的逻辑就是: (当前月份+2)/312月份是第四季度select trunc(12+2/3) from dual; 返回结果: 46月份是第二季度select trunc(6+2/3) from dual; 返回结果: 2trunc() 函数对于日

–生成1000条,使用游标的方式限制条数SELECT sys_guid() from dual connect by rownum < 1001;–按照限制生成序列select level from dual connect by level < 101;

sql语句被分为四大类：数据定义语言 DDL数据查询语言 DQL数据操纵语言 DML数据控制功能 DCL数据定义语言DDL（Data Ddefinition Language）–增删改表CREATE,DROP,ALTER对逻辑结构等有操作的语句，其中包括表结构，视图和索引。数据查询语言DQL（Data Query Language）–查数据SELECT查询数据操作: 各种简单查询，连接查询等, 都属于DQL。数据操纵语言DML（Data Manipulation Language）–增

参考: https://www.jianshu.com/p/b868d0bd574a[TEST@ORA1] SQL>select * from a;编号 姓名1000 张三2000 李四3000 王五[TEST@ORA1] SQL>select * from b;编号 商品1000 电视机2000 录像机4000 自行车[TEST@ORA1] SQL>select a.*,b.* from a cross join b;编号 姓名 编号 商品1000

计算机存储计量单位Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB、CB、XB数据存储按照 10进制 表示,数据传输按照 2进制 表示;表示形式不同,在细微上可以分为两种形式:按照二进制形式的换算 (即,按照进率1024（2的十次方）计算)1 Byte = 8 Bit 1 KB = 1,024 Bytes　 1 MB = 1,024 KB = 1,048,576 Bytes　1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824

MySQL 大小写敏感​ 因为近期工作上的要求, 需要对之前代码进行重新排查. 由于开发人员换了一批又一批, 每个人有自己的习惯, 没有形成良好的规范, 例如大小写问题等等, 今日就简单探究一下数据库语言的大小写敏感问题.MySQL​ 平时写 SQL 语句时, 并没有感觉到大小写的区别, 那么意味着 MySQL 大小写不敏感吗?答案是否定的. MySQL 在 Windows 下大小写不敏...

Linux 面试中被问到的问题推荐 Linux 命令查询网站, 清晰简约 https://www.linuxcool.com/曾在面试中被问(初级小白文,大佬自动右上角红叉), 总结如下, 以后发现其他问题会补充:你工作中 linux 常用命令有哪些 ?常用的命令主要是1.管道符 "|" 搭配三剑客, 前一个命令的输出作为后一个命令的输入 三剑客请移步大佬博客: https://www...

HDFS 基础理论四大机制: 心跳机制, 安全模式, 机架感知, 负载均衡;两大核心: 读写原理1.心跳机制​ master 和 slave 之间通过 ipc 服务通信, 通信有固定时间周期(默认3秒),称之为心跳。​ dfs.heartbeat.interval: 配置心跳时间slave 超时时间的计算:timeout = 2 * dfs.namenode.he...

Hive 的架构Hive 的核心驱动 Driver(1) 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST）(2) 编译器：编译器是将语法树编译为逻辑执行计划(3) 优化器：优化器是对逻辑执行计划进行优化(4) 执行器：执行器是调用底层的运行框架执行逻辑执行计划执行流程简述首先客户端或者命令行提交 hql 语句在 Driver 中经过解析器将 hql 语句...

SQL语句的执行顺序SQL语句的**语法书写顺序**: select distinct from join on where groupBy having orderBy limit7 8 1 3 2 4 5 6 9 10 语句执行顺序编号SQL语句的**实际执行顺序**: from > where > gr...

MySQL 如何实现分页实现分页语法 : select * from table limit (start-1)*rows,rows;limit 解释:limit 是 mysql 的语法, 从0开始，表示第一条记录select * from table limit m,n其中 m 是指记录开始的 index , n 是指从第 m+1 条开始，取 n 条例子: select * f...

mysql索引类型与数据结构①什么是索引索引是供服务器快速在表中查询一行数据的数据库结构,默认是 B+Tree 结构索引适合在 高基数列 ( 不相同的值多的列 ), 或者数据量很大的列上添加索引列不能经常变换(增删改) , 维护索引需要花费时间②索引类型普通索引 index最基本的索引没有任何限制01 –直接创建索引02 CREATE INDEX index_na...