YongYu_IT的专栏

ES基本用法查询所有索引查询索引下所有数据 查询所有索引 curl '0.0.0.0:9200/_cat/indices?v' 查询索引下所有数据 假设上一步查询到“fuck_index”索引 curl -XPOST http://10.107.118.18:9200/fuck_index/_search -H 'Content-Type:application/json' -d' { "query": { "match_all": {} } } ' ...

select * from tb_token where exists (SELECT table_name FROM information_schema.tables where table_name='tb_token');

$ docker run --name oracle_11g -p 1521:1521 -d registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g $ docker exec -it oracle_11g bash $ su #helowin # su - oracle $ sqlplus /nolog SQL> exit $ su #helowin # vi /etc/profile export ORACLE_HOME=/home/oracl

Ambari Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqo...

转换类 filter：遍历+筛选 call函数每次输入一个rdd内的元素；输出bool值，真则保留，假则抛弃。最终filter将会得到对原rdd全部筛选一遍后的结果rdd map：遍历+转换 call函数每次输入一个rdd内的元素；输出根据输入元素转换之后的值。最终map将会输出全部元素转换之后的rdd。 例如，原RDD={1，2，3，4，5}，call转换规则是x/10，map之后的R...

上官网下载最新（稳定版）的压缩包 $ wget https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%208.3/client-tools/pdi-ce-8.3.0.0-371.zip $ unzip pdi-ce-8.3.0.0-371.zip 安装libwebkitgtk-1.0-0 $ sudo apt-get instal...

0、准备两个数据库实例（最好位于两台不同的数据库服务器），每个实例中创建好源表和目标表 源表 CREATE TABLE `test_0`.`stu_info` ( `stuNum` VARCHAR(128) NOT NULL COMMENT '学号', `stuName` VARCHAR(45) NOT NULL COMMENT ' 姓名', `stuAge` VARCHAR(4...

作用 以当前行R为基准，关联出若干行mR（窗口），对mR进行聚合，计算出聚合值x，将x附加到R上。 窗口由关键字over指定 聚合操作支持所有内置和自定义的聚合函数，还支持几个特有的函数，如：row_number，rank，lag，lead 本质 替代关联和子查询的简写语法 窗口范围指定 全表数据 over()：窗口为全表数据 over( order by B)：全表根据B排序，...

到https://hub.docker.com上检索pg相关的docker img $docker run --name YongPG -e POSTGRES_PASSWORD=123456 -e POSTGRES_USER=yuyong -p 5432:5432 -d postgres 在Ubuntu上使用navicat 下载linux版navicat $ cd navicat121_...

HBase协处理器简介 作用 类似于存储过程和触发器。在服务端运行，减少服务器/客户端IO 类型 类似于存储过程的“终端程序”（EndPoint） 类似于触发器的“观察者”（Observers） 协处理器家族 观察者 RegionObserver：针对region，监听关于region的操作 RegionServerObserver：针对region服务器，监听整个Regio...

集群管理器 spark集群和Hadoop集群类似，采取主从结构，有两类节点： 集群管理者 Master节点（也叫驱动器（Driver）节点）。Master负责集群资源管理，接收spark job并分布到各个计算节点上进行计算。在集群中起到支配作用。一个集群中，活跃的Master只能有一个（HA部署下，可能有多个在热备）！ 在Spark集群中，Master节点负责执行org.apache.s...

#### install java $ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz $ tar xzf hadoop-3.1.2.tar.gz $ gedit ~/.bashrc export HADOOP_HOME=/mnt/hgfs/hadoop...

1、集群规划 由于HDFS默认最小复制原则是3份复制，所以规划3个数据节点（datanode），另外规划多一个独立的master运行namenode及相关的集群管理工作 网络规划： 192.168.186.213 mymaster 192.168.186.214 worker1 192.168.186.215 worker2 192.168.186.216 worke...

HBase的取舍 放弃对类似RDBMS复杂查询（核心是join）的支持，采用简单的API进行简单的CRUD，再加上一个扫描函数实现全表扫描。 再次明确：HBase不支持表关联。为了实现类似关联操作，HBase可接受采取反范式设计，即冗余存储 表，行，列族，列，单元格 行键 列族1 列族2 列族n row_key_1 列1 列2 列n1 ...

设计重点 HBase模式的重点有两个：Rowkey 和 Column Family Rowkey的设计 Rowkey设计是HBase模式设计中最重要的事情 1、HBase数据基于Rowkey有序存储。Rowkey是HBase表的唯一索引，借助Rowkey对HBase表的访问能实现高效的二分查找，非Rowkey的访问只能通过全表扫描实现。 2、region根据有序的Rowkey进行划分 ...

$ wget http://mirror.bit.edu.cn/apache/hbase/2.1.5/hbase-2.1.5-bin.tar.gz $ tar -zxvf hbase-2.1.5-bin.tar.gz $ cd hbase-2.1.5/conf $ gedit hbase-site.xml # #<property> # <name>hbase.clus...