Apache Hawq作为一款重量级的开源sql-on-hadoop产品,
在Hawq中,一条查询被分拆成多个stage,
前面介绍了datalocality的基本概念,下面来点干货,
对于Hawq random表,
最后,和大家分享一个电商对datalocality算法设计的启示。
https://cwiki.apache.org/confluence/display/HAWQ/Apache+HAWQ+Home
墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
1.8k累计阅读
1.9k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年,写一次发全网
我也要 →
码龄11年
Apache Hawq作为一款重量级的开源sql-on-hadoop产品,
在Hawq中,一条查询被分拆成多个stage,
前面介绍了datalocality的基本概念,下面来点干货,
对于Hawq random表,
最后,和大家分享一个电商对datalocality算法设计的启示。
https://cwiki.apache.org/confluence/display/HAWQ/Apache+HAWQ+Home
大数据+常雷-新一代数据仓库:Apache+HAWQ
大数据+常雷-新一代数据仓库:Apache+HAWQ 大数据+常雷-新一代数据仓库:Apache+HAWQ
EloqKV 作为高性能缓存数据库的优势
在这篇文章中,我们将重点介绍 EloqKV 作为缓存数据库的表现,重点关注其单节点性能。我们会与主流缓存方案 Redis 以及 DragonflyDB 进行比较。(DragonflyDB 是一款支持多线程架构的高性能缓存数据库)。所有基准测试均在 AWS(us-east-1)的 EC2 实例上进行,操作系统为 Ubuntu 22.04。我们使用 memtier-benchmark 工具生成工作负载。
ENSP从下载到运行:用虚拟机搭建华为认证实验环境全流程(含USG6000V镜像配置)
本文提供了一份详细的华为ENSP仿真平台从下载、安装到配置USG6000V防火墙镜像的完整指南。内容涵盖前置软件安装、ENSP主程序配置、核心设备镜像导入及虚拟机资源分配策略,旨在帮助网络工程师和学习者快速搭建一个稳定、功能齐全的华为认证实验环境,为备考和模拟企业网络部署打下坚实基础。
国产非关系型数据库 Eloqkv 初体验
数据库国产化是这两年的一个热门话题,各行各业都在进行国产化,甚至各种类型的数据库也要进行国产化,Oracle、MySQL、SQL Server、DB2 等关系型数据库进行国产化毋庸置疑,但之前有位朋友说他们的客户 MongoDB、Redis 等非关系型数据库也要进行国产化,这让我很吃惊。EloqKV 支持与可插拔数据存储的集成,即使 EloqKV 服务停止,也能实现数据持久化。全文完,希望可以帮到正在阅读的你,如果觉得有帮助,可以分享给你身边的朋友,同事,你关心谁就分享给谁,一起学习共同进步~~~
PaddleOCR转ONNX模型实战:5分钟搞定中文OCR推理部署(附完整代码)
本文详细介绍了将PaddleOCR模型转换为ONNX格式并进行高效推理部署的完整实战方案。通过Paddle2ONNX工具实现模型转换,利用ONNX Runtime构建跨平台推理引擎,涵盖环境配置、模型优化、批量处理及多平台部署等关键步骤,显著提升中文OCR在边缘设备上的推理性能。
Unity UGUI深度优化
Unity UGUI优化相关
redis和EloqKV的事务性和性能测试
Redis是一款高性能的开源内存数据库,广泛用于缓存和简单的KV数据存储,但在事务支持方面有所局限。EloqKV不仅为开发者提供了与Redis兼容的接口,还通过其高效的事务处理能力为复杂的分布式应用提供了更强大的支持,满足了现代业务对事务性和扩展性的需求。
复现论文报错解决
博主复现论文代码过程中遇到的各种报错及解决方案~
Community Over Code Asia 2025 专题介绍之 Data Storage & Computing
大数据也是 ASF 非常重要的组成部分,ASF 有非常多的大数据存储和计算领域的项目,比如大家熟知的 Apache Hadoop, Apache Spark, Apache HBase, Apache Ozone, Apache CarbonData, Apache Cassandra, Apache ZooKeeper 等等,在这个主题中,大家会学习到这些技术的前沿趋势和来自一线用户的实践经验、原理、架构分析等精彩内容。每个数据库来自不同的供应商,需要专门的技能集,并且具有独特的备份和故障恢复流程。
手把手教你 RT-DETR 添加注意力机制 | 一次性添加 20+ 种!
手把手教你 RT-DETR 添加注意力机制 | 一次性添加 20+ 种!
ubuntu下编译qtwebengine
ubuntu qtwebengine
联机数据库的未来:协程和异步编程
在开发的每个阶段,我们必须仔细评估每种协程实现的可用性、成熟度和固有权衡。然而,它们的采用需要精心的工程和周密的设计。考虑一个场景:查询持有写锁,将其指针存储在协程栈中,然后让出。只有在确认资源存活的情况下,恢复的协程才能继续使用它们。协程是一个古老的概念,但直到最近才在主流编程语言中普及并实现标准化。:如果协程在执行过程中被阻塞,整个工作线程将被阻塞,绑定到该线程的所有其他协程也无法继续执行。,晨章数据将数据库内核解耦,通过对不同数据库共有功能的抽象,以一种模块化的方式,建立标准化。
基于YOLO的印章检测及文字识别
针对印章自动化检测与文字识别需求,提出了一种融合改进YOLO模型与OCR技术的端到端解决方案,旨在解决复杂背景干扰、印章残缺变形及环形文字排列等难题
hawq执行慢sql
执行语句为: explain analyze select count(*) from L_T054 a join L_T120 b on a.d020=b.d020 执行计划为: "Aggregate (cost=1520822218.88..1520822218.89 rows=1 width=8)" " Rows out: Avg 1.0 ro
抖音中动态生成msToken的方法
抖音中动态生成msToken的方法
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
数据局部性(data locality)
信息处理的典型模式是,将所有数据项视为一个集合,并将其组织为适宜的数据结构(或者说使用适宜的数据结构对之进行存储以及组织),进而借助操作接口高效访问。 为了考查和评价各操作接口的效率,除了从最坏情况的角度出发,也可假定所有操作彼此独立、次序随机且概率均等,也即从平均情况的角度出发。然而,实际中,后一尺度所依赖的假定条件(独立随机等概率),往往不足以反映真实的情况...
TMS_WebGMaps_1.9.8.0_Full_Source
TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder
HAWQ 技术解析(一) —— 功能概述
SQL on Hadoop、HAWQ 的历史和现状、HAWQ 简介
C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片
基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正
lwip-2.0.3
lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。
Apache HAWQ创始人常雷的图书推荐序
《HAWQ数据仓库与数据挖掘实战》推荐序回想过去几年,从我在EMC(Greenplum)启动HAWQ项目开始,到全球多个世界500强公司使用HAWQ,后来把HAWQ开源到Apache社区,现在又基于HAWQ创立“偶数”,时光荏苒。今天非常高兴能够看到雪迎这本关于HAWQ的书出现。数据仓库的架构发展经历了几个阶段,第一代数据仓库是基于传统交易型数据库的共享存储(Share Storage)架构,比如...
HAWQ--简介
HAWQ是Hadoop原生SQL查询引擎,结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。 HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说,HAWQ有以下特点: 本地或云部署 健壮的ANSI...
HAWQ 取代传统数仓实践(十九) —— OLAP
OLAP 简介、OLAP 实例、交互查询与图形化显示
Ambry 第一篇 整体介绍
Ambry - 分布式 immutable、高可靠、易扩展的基于Blob的存储系统,针对非易变的、大小下至几KB上至GB的对象的存储进行了优化,带来了高吞吐和低延迟,并且允许Client端到存储层进行双向流式端到端访问。该系统支持多数据中心 并且提供廉价存储。 设计目标 高可用和水平扩展 高可用和最终一致性。写入时,写入数据被存储在本地数据中心,且异步同步到其他数据中心的副本中。这种写入...
hawq入门
1:高性能吞吐量和低延迟 HAWQ的并行处理架构提供了高性能吞吐量和低延迟 - 可能接近实时的查询响应,可以扩展到PB级数据集。在Hadoop本地操作。 SQL兼容性 利用熟悉的技能 实现基于SQL的应用程序和BI /数据可视化工具的更高级别的兼容性。执行复杂的查询和连接,包括汇总和嵌套查询。 Hadoop生态系统的可管理性和整合 集成和管理与YARN。提供Ambari。
数据仓库架构的变迁
引言 第八届中国架构师大会(SACC2016)10月27号到29号在北京万达索菲特大饭店成功举办。大会以“架构创新之路“为主题,云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。作为一家专注于云端数据仓库的初创公司,酷克数据受邀在SACC2016 “数据库平台架构及变迁”分会场作...
小程序Skyline原生网页不支持-东方仙盟
时间线:2020 年前后小程序纯 WebView 渲染,嵌网页是标准能力;2023 年 Skyline 正式版上线后,新引擎没有移植web-view,官方标注"暂不考虑"。根因:Skyline 用独立渲染线程和原生视图树取代了浏览器内核,web-view这个独立浏览器实例接不进新的合成与手势管线,架构方向上不相容。替代方向:网页单独放在一个的承载页里,Skyline 页面通过路由跳转混跳进入,页面间用参数和事件通道通信。简化路径:第三方不可控页面走通用承载页(必要时半屏弹出);
2722
1060
2490

被折叠的 条评论
为什么被折叠?



