u013165852的博客

原创 20220803

20220801

原创 运营与运维

运营侧重如何让价值闭环运维更关注系统稳定运行

原创 用户与租户的区别

租户:可以理解为一个项目，组织或者团队。必须指定一个租户管理员才能申请服务。租户主要为了资源隔离，不同租户之间互不干扰。资源隔离是关键用户:表示拥有用户名，密码，邮箱等的自然人。...

原创 AS-IS TO-BE

AS-IS：原有的样子，当前现状TO-BE：即将变成的样子，优化后的

原创 hudi

https://www.bilibili.com/video/av500202539/

原创 拉链表和流水表

https://blog.youkuaiyun.com/sheep8521/article/details/89187601原文链接：https://blog.youkuaiyun.com/zhaodedong/article/details/541776860x00 前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表...

原创 onedata

1。数据仓库搭建标准-OneDatahttps://www.cnblogs.com/zhoufei2514/p/13355463.html2.https://www.cnblogs.com/zhoufei2514/category/1367647.html3.https://www.jianshu.com/p/2ee084412afa4.http://www.360doc.com/co...

原创 spark on dataworks

https://github.com/aliyun/MaxCompute-Spark/wiki/02.-Spark-on-Dataworks

原创 mac快捷键使用记录

1.重命名点击文件或者文件夹，按回车2.删除command+delete3.录屏shift+command+5，一定记得勾选麦克风

原创 OGG时延问题记录

1.抽取进程延时2.过程时间分析脚本[oracle@node2 dirdat]$ cat test01.sh #!/bin/bashecho "sql before time is "`date`>> test.logsqlplus / as sysdba <<EOF@1.sqlEOFecho "sql after time is "`date`&...

原创 OTS

1.数据模型Wide column模型模型构成Wide column模型与关系模型{ "primaryKeys": [ { "name": "id", "type": "INTEGER", ...

原创 RBAC规范

RBAC角色访问控制(RBAC)引入了Role的概念,目的是为了隔离User(即动作主体，Subject)与Privilege(权限，表示对Resource的一个操作，即Operation+Resource)。　　Role作为一个用户(User)与权限(Privilege)的代理层，解耦了权限和用户的关系，所有的授权应该给予Role而不是直接给User或Group。Privilege是权限颗粒...

原创 ClickHouse原理解析与应用实践--摘录

一、ClickHouse的核心特性1. 完备的DBMS功能ClickHouse拥有完备的管理功能，所以它称得上是一个DBMS ( Database Management System，数据库管理系统 )，而不仅是一个数据库。作为一个DBMS，它具备了一些基本功能，如下所示。DDL ( 数据定义语言 )：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。DML ( 数据操作语言 ...

原创 在docker中安装ogg19

1.docker安装oracle11gdocker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11gdocker run -d -p 1521:1521 --name oracle11g --privileged registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11gd...

原创 性能测试指标记录

1.QPSQueries Per Second(每秒查询率)，每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。对应fetches/sec，即每秒的响应请求数，也即是最大吞吐能力。计算公式：qps = 请求查询数 / 秒qps = fetchs / per second2.RPSReques...

原创 docker安装oracle12c记录

系统是centos7.91.安装dockeryum -y install dockersystemctl start dockersystemctl restart docker.service2.拉取镜像nohup docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/oracle_12cr2_ee_lhr_12.2.0.1:2.0...

原创 docker安装oracle19c记录

系统是centos7.91.安装dockeryum -y install dockersystemctl start dockersystemctl restart docker.service2.拉取镜像nohup docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/oracle19clhr_asm_db_12.2.0.3:2.0...

原创 kudu

既要具备hdfs(存储海量文件，分析能力强)的能力，又具备hbase(快速的增删改查，和分析能力弱)的能力需要随机读写，又需要批量分析的大数据场景。(用一个组件实现)数据过度冗余：数据需要存储多份，这样造成存储等资源的浪费。架构复杂导致开发、运维、测试的成本高；同时维护多套存储系统，架构复杂，开发、运维、测试成本相对较高。数据不一致容易误解：多套数据由于程序bug或其他原因很容易出现数据不一...

原创 JS_各种树状结构demo

http://philogb.github.io/jit/demos.html

原创 数据中台数据采集测试环境搭建

1.准备软件源端oracle、ogg目标端ogg、ogg插件、datahub、maxcompute数据erp表结构，包括约束信息2.配置参考资料：https://help.aliyun.com/document_detail/170232.html?spm=a2c4g.11186623.6.597.24833012U8cFNr源端OGG：抽取ADD EXTRACT ext_erp...

原创 数仓项目01：准备工作

1.test2.test23.est3

原创 oss使用

1.使用OSS作为文件服务器，保存一些常用的资料开通方法就不说了，主要是linux系统上传和下载相关内容首先，需要安装客户端https://help.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.6.841.82037f85BWlPVtwget http://gosspublic.alicdn.com/ossut...

原创 mysql数据表每天全量备份

1.思路：创建存储过程，创建备份表 xxx_%Y%m%d,将数据插入备份表，每天定时调度即可2.实现2.1存储过程CREATE PROCEDURE `auto_copy_table`( IN prefix VARCHAR(255), IN srcTableName VARCHAR(255)) COMMENT '根据日期自动建表,并备份数据' BEGIN SET ...

原创 正则基础

【描述】 用特殊字符和序列，来为正则表达式书写模式。下面的表描述了这些字符，并包括了简短的例子，来说明如何使用这些字符。 ________________________________________________________________字符 | 描述 ---------------------------------...

原创 正则表达式在各种语言中使用

1.python中使用"""@author :Eric-chen@contact :sygcrjgx@163.com@time :2020/8/13 17:43@desc :"""import re# pattern=re.compile("^.*(ods_ogg_erp_cd[\w-]{1,1000}).*$")pattern=re.compile("ods_og...

原创 正则表达式在各种语言或工具中使用

1.python中使用"""@author :Eric-chen@contact :sygcrjgx@163.com@time :2020/8/13 17:43@desc :"""import re# pattern=re.compile("^.*(ods_ogg_erp_cd[\w-]{1,1000}).*$")pattern=re.compile("ods_og...

原创 身份证扫描到一个PDF或图片

1.分开扫描到一个PDF或者图片2.如果是PDF就用ABBYY FineReader等工具转为图片3.使用画图工具合并图片，最后使用ABBYY FineReader等工具转为PDF

原创 Oracle 查询表的索引包含的字段

字段保留在 dba_ind_columns视图中select a.uniqueness 索引类型,b.index_name 索引名称,b.column_name 字段 from user_indexes a ,user_ind_columns bwhere a.table_name=b.table_name and a.index_name = b.index_name and ...

原创 JAVA爬虫Demo总结—01

JAVA爬虫Demo总结—01最近在做项目时需要使用爬虫，通过在网上查资料实现了自己的小需求，现将整个过程做了总结，方便自己日后使用，如果能帮到需要的人就更好了 ^_^。1. 整体结构1.1 项目整体技术架构1.2 依赖包版本...

原创 Java使用POI读取和写入Excel指南

参考资料：https://www.cnblogs.com/Dreamer-1/p/10469430.html

原创 Java文件:追加内容到文本文件

代码如下：package javalean;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;public class FileTest { public FileTest() ...

原创 okhttp 使用response.body().string()获取到的数据是一堆乱码

解决办法：删除请求头中设置了这句话，addHeader("Accept-Encoding","gzip, deflate")OkHttp会认为你要按照自己处理解压缩步骤. 直接删除这个头信息后, OkHttp 会自动处理加头信息和解压缩的步骤，这样拿到的数据就会一切正常了。...

原创 彻底解决unable to find valid certification path to requested target

1.下载证书2.导入证书keytool -import -alias test -keystore cacerts -file D://test.cer其中：-alias指定别名(推荐和证书同名)-keystore指定存储文件(此处固定)-file指定证书文件全路径(证书文件所在的目录)注意:当切换到cacerts文件所在的目录时,才可指定...

原创 odps SQL记录

1.增加分区alter table tableName add if not exists partition(ds='20200623')　　

原创 eclipse，依赖问题

原创 将excel按照某一列拆分成多个文件

1.alt+F112.点击3.拷贝代码代码：Sub NewSheets()Dim d As Object, sht As Worksheet, arr, brr, r, kr, i&, j&, k&, x&Dim Rng As Range, Rg As Range, tRow&, tCol&, aCol&,...

原创 内连接

内连接inner join/join也叫自连接，这是我们经常用到的查询方式，内连接查询只能查询出匹配的记录，匹配不上的记录时无法查询出来的 ，以下三种查询结果一样select * from student s, color c where s.stuname = c.stuname;select * from student s inner join color c on s.st...

原创 中台文档--参考

1.调度参数https://help.aliyun.com/document_detail/137548.html?spm=5176.11065259.1996646101.searchclickresult.186fec82sqwpGT

原创 数据中台文档--参考

1.调度参数https://help.aliyun.com/document_detail/137548.html?spm=5176.11065259.1996646101.searchclickresult.186fec82sqwpGT2.在DataWorks上使用PyODPShttps://help.aliyun.com/document_detail/90444.html?s...

原创 ORACLE触发器字段触发

http://blog.itpub.net/28996307/viewspace-1965840/