openLooKeng的博客

欢迎大家打卡体验！

近日华为联合中国移动在线营销服务中心共同申报的“中国移动在线营销服务中心全栈自主可控基础软件最佳实践”荣获了《人民邮电报》2021年“ICT优秀案例”“强基筑魂卓越创新标杆”称号。背景操作系统、数据库和中间件等基础软件作为业务系统的底层核心，需要首先保障安全可靠和自主可控，确保遇到风险时，关键信息不泄露、实时数据服务不中断。2020年12月8日，RedHat官方宣布CentOS 发布模式变化，由当前RHEL下游稳定版本，变为未来上游开发版本，CentOS8 将在2021年12月31日停止维护（EOL）。

1 openLooKeng 算子接口1.1 openLooKeng算子相关类▲ 图1-1 算子相关类openLooKeng生成物理执行计划后，真正执行计划的是一个一个的算子（即Operator）。openLooKeng中将算子抽象为Operator接口，将算子工厂抽象为OperatorFactory接口，如图1-1所示。而具体的算子则实现相应的OperatorFactory接口和Operator接口即可。例如Limit算子，在openLooKeng中会相应的有LimitOperatorFactor

Oracle update和delete是openLooKeng在Oracle connector上提供的对Oracle数据源进行更新和删除操作的特性，此特性除实现对Oracle数据源update和delete操作的直接支持，还提供了适配开发接口，基于这些接口可以开发某些数据源的update和delete操作。功能介绍update和delete操作，先通过查询操作获取到满足条件的行，这些行每行有一个唯一的rowid的值来标识，然后对行数据进行update和delete操作，对于delete操作还提供额外

如之前openLooKeng博客中所述，动态过滤的核心思想是依靠join条件以及build侧表读出的数据，运行时生成动态过滤条件（dynamic filters），应用到probe侧表的table scan阶段，从而减少参与join操作的数据量，有效地减少IO读取与网络传输。动态过滤优化方法partial filters的构建partial filters合并partial filters以及merged filters的传输merged filters应用动态过滤特性系统架

自2020年6月30日开源以来。至今，openLooKeng社区用户数达到 100K +，累计收到 2000+ PR，1500+ Issue，1500+ Comments，2021年，社区下载量突破 100K +；遍及全球41个国家、210个城市。越来越多的人关注到openLooKeng，如今，社区呈现一派生机勃勃，绿荫环绕的景象。每一次的迭代更新，openLooKeng都致力于为用户提供了极简的数据分析体验。2022年1月，新年伊始，在小伙伴的支持下，openLooKeng迎来了新版本v1.5.0o

近日，openLooKeng注意到Apache Log4j2反序列化远程代码执行漏洞（CVE ID为CVE-2021-44228），并成功进行修复。详细方案如下，建议所有用户升级。Apache Log4j2远程代码执行漏洞修复解决方案【漏洞描述】Apache Log4j2是一个基于Java的日志记录工具。该工具重写了Log4j框架，并引入了大量丰富的特性。该日志框架被广泛地用于中间件、开发框架与Web应用中，用来记录日志信息。由于组件存在 Java JNDI 注入漏洞，当程序将用户输入的数据记入日志

hi！小伙伴们！小编今天又给大家整了些干货！今天就给大家来介绍一下openLooKeng ODBC的用户使用手册本手册包含Windows版本openLooKeng ODBC驱动程序的相关信息包括驱动的安装与ODBC数据源的配置以及驱动的基本信息还不快快搭上这篇干货手册的快车！冲鸭！ODBC：开放数据连接ODBC(Open Database Connectivity 开放数据连接)是微软提出的一个能让应用访问不同DBMS的互操作接口协议，其定义了一个通用的数据库访问机制并提供了一组访问数据

前言视图是从一个或多个表导出的虚拟的表，区分权限是其重要作用之一。举个例子，在班级里，班主任需要掌握全班同学各科成绩，获悉整体状态以便全面指导，而数学老师只需要知道同学们的数学成绩。数据库中我们常听到视图的说法。其实，大数据多源查询分析引擎openLooKeng也是有视图的概念，下面会以Hive Connector对存在的几种视图进行讲解。VDM连接器这个是openLooKeng新开发的一个连接器，主要可使用场景如：在一些场景中，需要在同一个会话或视图中管理或访问多个数据源，同时，用户不需要关心数据

前言前不久，在Hadoop、openLooKeng联合发起的Apache Hadoop Meetup 2021上，社区 PMC 主席 Ken Zhang 分享了主题：openLooKeng and the technical trend of big data（点此回顾），其中OmniRuntime 受到不少朋友的关注。11月12日，openLooKeng v1.4.1正式上线。除了对旧版本进行一些优化外，v1.4.1版本还引入了OmniData Connector。作为OmniRuntime的组件之一，

Hi，朋友。openLooKeng近期带来了许多技术干货，前有安装部署，后有安全认证机制、Hash Join的使用介绍等等，如果您正在使用openLooKeng, 希望这些技术博客能够帮助到您。本期，社区小伙伴将用一个User Case，简单介绍openLooKeng的行级权限控制。openLooKeng的行级权限控制行级权限的作用通过 Rowfilter 实现对表数据行级别的权限控制：指定特定用户只能访问授权过的行，隐藏未授权的行数据。Use Case源数据表：配置Rowfilter策略：

Hash Join是在进行多表连接时常用的方式之一。那如何在openLooKeng上构建并实现Hash Join？openLooKeng支持的Join类型有哪些？本期，社区小伙伴将分享[openLooKeng Hash Join 实现原理]，从构建到使用，内容十分详细，希望对大家有帮助。1 openLooKeng Join概述为了更好的介绍join，我们创建两个非常简单的表t1和t2。执行的SQL语句如下：create table t1(id bigint, value bigint);insert

前言通过openLooKeng的官网https://openlookeng.io/zh-cn/docs/docs/overview.html我们可以知道其支持对外部用户的认证的，主要方式有Kerberos和Password(LDAP)认证，本文主要讲解其认证原理。认证机制在了解认证之前不得不提一下Servlet中的FilterChain的doFilter方法的作用如下图示，在客户端和服务器端之间会有很多filter,通常称为filter链。通过FilterChain我们可能进行很多的过虑操作。当然我们

1. HBase Connector介绍数据虚拟化引擎openLooKeng中的HBase Connector支持访问Apache HBase集群并进行查询和创建表的操作。用户可以在openLooKeng中创建表，并映射到HBase Cluster中已有的表，支持INSERT、SELECT和DELETE操作。——一个简单的全表扫描的sql的执行，会经历哪些阶段：首先该sql将要访问的数据，一定是属于某一个数据源的，那么一个通用的Connector需要做哪些事情。Sql的解析是由openLooKeng

1 大数据分析现状和背景1.1 大数据分析现状从2008年Hadoop成为Apache顶级项目之后，大数据技术经历了一个繁荣的发展阶段，各种组件层出不穷，上图显示了，当前查询分析软件有300+，这也导致了当前大数据平台就像堆积木一样，数据在各个组件之间流转，需要冗长的ETL过程，数据存在多个副本，开发者需要多种系统的编程语言，开发难度高，使用复杂；如上图所示，市场占有率最高也仅仅11%，老牌数据库厂商Oracle仅仅占优9%，而others占了53%，即没有巨头，新进入者有巨大的机会；从上图可