bingoabin

sql整理

sql整理

kudukudu介绍Kudu背景#在 KUDU 之前，大数据主要以两种方式存储：##可以更快地访问批量数据集（高吞吐量），而不是该数据集中的特定记录（低延迟）静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。这类存储的局限性是批量读取吞吐量远不如 HDFS，不适用于批量数据分析的场景。#从上面分析可知，这两种数据在存储方式上完全不同，进而导致使用

说明`Keepalived VIP`是实现高可用性的一种轻量级技术手段，主要用来防止单点故障，主要方法是`通过实现虚拟IP对连接的节点进行漂移`,也就是说`服务只需要连接虚ip就可以`，实际上连接的是`虚ip`指定的真实服务，避免了`单点问题`。我们默认`KDC和LDAP`的虚拟ip是172.21.139.250。配置VIP需要有一个虚IP，这个IP是局域网内一个合法的IP，同时不能被ping通。配置VIP需要配置`keepalived.conf`和外部进行状态检测的脚本，这里提供我们的配置作为参考：`

hive小文件治理背景hive中的数据最终落地到HDFS上，在HDFS上不可避免的有小文件产生，小文件问题，会产生诸多问题，比如：1.对底层存储HDFS来说，HDFS本身就不适合存储大量小文件，小文件过多会导致namenode元数据特别大, 占用太多内存，严重影响HDFS的性能2.对hive来说，在进行查询时，每个小文件都会当成一个块，启动一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的Map数量是受限的。原因产生小文件

正则表达式一些规则#限定符? 比如used？ 表示d可以出现0次或者1次* 表示出现0次或多次字符 比如ab*c 表示ac中间只能出现0个或者多个b+ 表示出现1次以上的字符 比如ab+c 表示ac中间至少出现一个b abc abbbbbbc{2,6} 表示精确出现的次数 比如ab{2,6}c,表示ac中间有只有2-6个b,如果想表示2次以上，可以把6省略,{2,}#上面的只是判断前面一个字符，如果想表示多个字符，可以用（）括起来(ab)+ 表示至少出现ab 一次以上

普罗米修斯 Prometheus介绍#Prometheus是一个时间序列数据库。但是，它不仅仅是一个时间序列数据库。#它涵盖了可以绑定的整个生态系统工具集及其功能。Prometheus主要用于对基础设施的监控。包括服务器，数据库，VPS，几乎所有东西都可以通过Prometheus进行监控。Prometheus希望通过Prometheus配置中定义的某些端点执行的HTTP调用来检索度量标准。工作流程Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 m

数据库与缓存双写一致性背景#首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。#但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。目前没有一篇全面的博客，对这几种方案进行解析。策略#先做一个说明，从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案。#这种方案下，我们可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操

1.mysql表中元数据dbs表CREATE TABLE `dbs` ( `DB_ID` bigint(20) NOT NULL, `DESC` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL, `DB_LOCATION_URI` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL, `NAME` varchar(128) CH

应用场景 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。当想使用测试内存数据库redis时，就需要在本地linux服务器上进行安装了！操作步骤1. 安装软件包安装依赖 # yu

一、mongodbMongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似...

一、centos6的mysql在linux系统上，需要存放一些数据，进行对一些数据的存放，查询等，因此我们需要在linux系统上搭建数据库。如果在linux系统上，安装了mysql，想替换mysql的版本，需要先卸载已安装的mysql版本，然后重新安装新版本。1. 部署Centos 6.x下在线安装Mysql很简单：yum list mysql-server如果yum list mys...

一、优缺点在使用mysql集群之前，先仔细了解mysql集群的优缺点，在应用场景中充分发挥集群的优点，才能把mysql集群技术用到刀刃上。描述优点a) 99.999%的高可用性b) 快速的自动失效切换c)灵活的分布式体系结构，没有单点故障d)高吞吐量和低延迟e)可扩展性强，支持在线扩容缺点a)存在很多限制，比如：不支持外键b)部署、管理、配置很复杂c)占用磁盘空间大...

第一步：新建触发器表SET FOREIGN_KEY_CHECKS=0;DROP TABLE IF EXISTS `dataex_trigger_record`;CREATE TABLE `dataex_trigger_record` ( `ROWGUID` varchar(50) NOT NULL, `TABLENAME` varchar(50) DEFAULT NULL,...

代码实例原生：SELECT table_schema ,table_name ,( CASE WHEN ORDINAL_POSITION = mincol AND ORDINAL_POSITION < maxcol THEN CONCAT ( ...

1.MPPDB简介 MPP，它是一款 Shared Nothing 架构的分布式并行数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统。2.MPPDB技术特点MPP 具备以下技术特征：1) 低硬件成本：完全使用 x86 架构的 PC Server，不需要昂贵的 Unix 服...

驱动下载地址：https://pan.baidu.com/s/1eBRESdntbnZQoN-yxJgFDA功能：建立连接，数据读取package com.epoint.HadoopAPIDemo;import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; im...

应用场景 当需要使用SQL Server数据库的时候，需要在服务器上安装SQL Server数据库，那么操作步骤如下所示。操作步骤1. 安装SQL Server步骤网络下载SQL Server 2008R2资源双击setup.exe打开安装界面(若提示安装.NET Framework,点击”确定”启用.NET Framework核心角色)点击安装界面左侧的”安装”并点击右侧的”全新安装或

应用场景 在linux服务器上，需要使用oracle数据库，那么就需要安装oracle数据库服务器，然后进行数据库软件的使用。1. 安装前环境准备 VMware Workstation 11搭建CentOS7虚拟机，CentOS7操作系统最小化安装，2G内存，20G磁盘空间，1核CPU，已配置好网络IP:192.168.206.135。已下载Oracle 11g Linux安装文件：lin

代码实例select c.table_name, case when c.column_id=c.COLUMN_ID_MIN then 'create external table '||u.USERNAME||'_'||c.table_name||' ( ' else ',' end ||c.sqlt