openLooKeng算子接口和执行流程

最新推荐文章于 2024-04-24 17:54:23 发布
原创 最新推荐文章于 2024-04-24 17:54:23 发布 · 789 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了openLooKeng算子接口和执行流程。openLooKeng将算子抽象为Operator接口和OperatorFactory接口，具体算子如Limit算子实现这两个接口。OperatorFactory提供了创建算子、判断是否结束和复制工厂的方法。Operator接口包含处理输入、输出、完成和关闭等操作。算子执行流程在Driver#processInternal()中，当一个算子被阻塞时，线程会继续处理后续算子。

1 openLooKeng 算子接口

1.1 openLooKeng算子相关类

▲ 图1-1 算子相关类

openLooKeng生成物理执行计划后，真正执行计划的是一个一个的算子（即Operator）。openLooKeng中将算子抽象为Operator接口，将算子工厂抽象为OperatorFactory接口，如图1-1所示。

而具体的算子则实现相应的OperatorFactory接口和Operator接口即可。例如Limit算子，在openLooKeng中会相应的有LimitOperatorFactory和LimitOperator。

1.2 openLooKeng算子接口

OperatorFactory提供的接口如表1-1所示：

  1. createOperator，创建算子，返回相应的算子实例对象；

  2. noMoreOperators，不再创建算子，可以释放OperatorFactory相关的资源；

  3. duplicate，在right outer join或者full outer join时用到，用于复制OperatorFactory，返回OperatorFactory实例对象。

▲表1-1 OperatorFactory接口

Operator提供的接口如表1-2所示：

  1. isBlocked
最低0.47元/天 解锁文章
初体验--openLooKeng集群管理平台的安装使用
wmxx2022的博客
05-26 1671
最近在华为开源社区发现新上线的openlookeng/openlookeng-manager系统，并对其操作进行了体验：先按照页面上的README操作说明进行部署安装，然后顺着openLooKeng集群管理平台的引导页指引，我很轻松地安装了此系统并对其进行操作。体验中，我发现其页面设计非常简洁清爽，操作也非常简便。现将操作心得写与大家分享~ 一、环境部署 1、前后端代码包可通过openLooKeng开源社区进行拉取。 2、后端打包部署 前提条件：代码打包前服务器需要安装 ...
OpenLooKeng采用REST通信,包括CLI、JDBC与 Coordinator
app91的博客
05-12 589
将Statement 按照 OpenLooKeng求封装成REST请求,发送恰 Coordinator执行,包含以下请求： ​ 1. 提交查询请求 POST /v1/statement ​ 2. 查询直至查询完成： GET /v1/statement/{ID} ​ 3. 删除某个查询：DELETE /v1/statement/{queryId} 同时，OpenLooKeng需要提供加密和认证功能，需要支持HTTPS加密以及Basic与Kerberos认证。 Python客户端作为OpenLooKen
[昇腾CANN自定义算子]TIK算子矢量计算接口vec_add
UnseenMe的博客
10-19 564
利用AI Core的Vector Unit，进行矢量加计算。 vec_add(mask, dst, src0, src1, repeat_times, dst_rep_stride, src0_rep_stride, src1_rep_stride) mask 通常用这个参数的连续模式，就是设置前N个数据参与计算。 每次迭代可以计算256字节的数据。 比如，当计算float16类型数据时，每个数据2字节，所以mask设置成128时，就可以在一个迭代中计算256字节的数据。 dst, src0, s
Flink 对算子的Function接口实现
wuhuo714的博客
03-02 1928
1.创建类实现Function接口 通过新建类去实现MapFunction，并自定义数据处理逻辑。 import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.FlatMapFunction; i
OpenLooKeng
USTSD的博客
06-18 735
一、登录注册 网址为：https://tryme.openlookeng.io/，进入该网址后可以看到以下界面： 可以选择左边的GitHub或者右边的Gitee进行登录，如果没有账号需要注册一个账号进行登录，每个用户有一个openLooKeng集群。示例使用的是GitHub登录，点击左侧按钮可以看到以下界面： 二、熟悉界面 登陆成功之后可以看到以下界面： 该网页主要有四块内容，分别是区域一...
【CLI命令行接口和Java连接openLooKeng查询数据 】
最新发布
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-24 970
通过CLI命令行接口工具连接openLooKeng，可帮助初学者能够使用SQL语句的方式快速操作openLooKeng，任何只要熟悉SQL的人都可以快速切换到openLooKeng的技术栈当中，借助其快速完成大数据相关数据分析任务。通过使用Java API的方式操作openLooKeng，可帮助Java开发人员能够快速上手，从而能以编程的方式操作openLooKeng（这也是真实生成环境中习以为常的方式），进而帮助开发人员快速构建基于openLooKeng进行大数据分析的能力。
4-openLooKeng架构解析和性能优化实践-罗旦.pdf
08-30
架构解析和性能优化实践
人工智能算子接口标准化研究.pdf
07-10
人工智能算子接口标准化研究.pdf
华为正式开源数据虚拟化引擎openLooKeng
吾本樵夫 的技术专栏
08-03 1030
华为正式宣布开源数据虚拟化引擎openLooKeng，开源社区官网（https://openlookeng.io）同步上线。openLooKeng致力于为大数据用户提供极简的数据分析体验，让用户像使用“数据库”一样使用“大数据”。 2019年11月19日，华为宣布开源数据虚拟化引擎HetuEngine（开源版本的HetuEngine叫openHetu），今日，openHetu正式更名为openLooKeng，HetuEngine更名为LooKengEngine。openLooKeng是一款开源的高性能数据虚
openlookeng配置文件-一键启动脚本
01-01
openlookeng配置文件-一键启动脚本
SparkDataFrame操作OpenLooKeng
L_Mr_ll的博客
04-15 2695
文章目录前言openLooKeng介绍SparkDataFrame读取openLooKeng 前言 前几天领导让用spark集成openLooKeng，可能熟悉openLooKeng的朋友知道openLooKeng是个基于sql的计算引擎，并非存储数据的软件；那么有人就会问了，既然你spark是计算引擎，openLooKeng也是计算引擎不存数据，那么为什么还要用spark集成openLooKeng；问就是我负责的项目特殊，领导要求先把项目的生态圈丰富起来！ openLooKeng介绍 因为要集成openL
即兴小探华为开源行业领先大数据虚拟化引擎openLooKeng
itxiaoshen博客
10-26 1705
如果你还在头疼数据分析多组件、多集群跨域等问题，推荐研究下华为开源的openlookeng，能够解决企业在面向大数据应用面临的用数难、找数难、取数难的痛点，本篇从openlookeng背景和架构开始，理解其关键技术和应用场景，最后通过安装openlookeng的集群，利用命令行接口验证MySQL和ClickHouse两种连接器的配置。
openLooKeng配置Hbase连接器
zhaoyim的博客
12-09 951
openLooKengopenLooKeng配置Hbase连接器 openLooKeng配置Hbase连接器 openLooKeng给大家的直观感觉是包了一层Presto（特别是看了源码的工程后，自己曾经也有这样的想法），其实不是这样的（随着研究深深入，当然现在还是个小白，昨天很开心的发现了一个bug，自己修完后，发现12天已经被fix了，哭～～），openLooKeng还是做了很多的改进的，比如多数据中心的概念，Hbase的connector，今天主要介绍下openLooKeng Hbase connec
openLooKeng ODBC用户手册
openLooKeng的博客
12-10 954
hi！小伙伴们！ 小编今天又给大家整了些干货！ 今天就给大家来介绍一下 openLooKeng ODBC的用户使用手册 本手册包含Windows版本 openLooKeng ODBC驱动程序的相关信息 包括驱动的安装与ODBC数据源的配置 以及驱动的基本信息 还不快快搭上这篇干货手册的快车！冲鸭！ ODBC：开放数据连接 ODBC(Open Database Connectivity 开放数据连接)是微软提出的一个能让应用访问不同DBMS的互操作接口协议，其定义了一个通用的数据库访问机制并提供了一组访问数据
openLooKeng视图详解
openLooKeng的博客
11-22 1828
前言 视图是从一个或多个表导出的虚拟的表，区分权限是其重要作用之一。举个例子，在班级里，班主任需要掌握全班同学各科成绩，获悉整体状态以便全面指导，而数学老师只需要知道同学们的数学成绩。 数据库中我们常听到视图的说法。其实，大数据多源查询分析引擎openLooKeng也是有视图的概念，下面会以Hive Connector对存在的几种视图进行讲解。 VDM连接器 这个是openLooKeng新开发的一个连接器，主要可使用场景如：在一些场景中，需要在同一个会话或视图中管理或访问多个数据源，同时，用户不需要关心数据
openLooKeng安装部署说明
qq_40112386的博客
03-14 6215
参考官网说明：https://openlookeng.io/zh-cn/docs/docs/installation/deployment-auto.html 一、环境准备 操作系统选择 Linux 内存大于4G 机器能够连接互联网 端口号8090 未被占用 二、离线安装部署 下载并解压安装包 下载https://download.openlookeng.io/auto-install/openlookeng.tar.gz并将其内容解压到/opt目录。 ...
超简单教程！自动部署openLooKeng
openLooKeng的博客
09-30 813
​ 除了手动部署openLooKeng服务器外，还可以按照以下指导更快、更容易地完成部署。这个脚本对大多数Linux操作系统都很友好。但是，对于Ubuntu，需要手动安装以下依赖项。 sshpass1.06及以上版本 在单个节点上部署openLooKeng 执行以下命令可以帮助你一键下载所需的软件包和部署openLooKeng服务器： bash <(wget -qO- https://download.openlookeng.io/install.sh) 或： wget -O - https:/
用一个简单的UserCase，带你认识openLooKeng的行级权限控制
openLooKeng的博客
11-11 390
Hi，朋友。openLooKeng近期带来了许多技术干货，前有安装部署，后有安全认证机制、Hash Join的使用介绍等等，如果您正在使用openLooKeng, 希望这些技术博客能够帮助到您。本期，社区小伙伴将用一个User Case，简单介绍openLooKeng的行级权限控制。 openLooKeng的行级权限控制 行级权限的作用 通过 Rowfilter 实现对表数据行级别的权限控制：指定特定用户只能访问授权过的行，隐藏未授权的行数据。 Use Case 源数据表： 配置Rowfilter策略：
openlookeng
08-26
4. 优化器和执行引擎：openLooKeng具有强大的查询优化器和执行引擎，可以自动优化查询计划以提高查询性能。 5. 多种数据格式支持：openLooKeng可以处理多种数据格式，包括Parquet、ORC、Avro等，以适应不同的数据...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值