上新啦!腾讯云云原生数据湖产品DLC 2.2.5版本发布,来看特性详解!

联邦查询(一)Hu-Fu Hu-Fu: Efficient and Secure Spatial Queries over Data Federation”,发表在VLDB2022。代码:https://github.com/BUAA-BDA/Hu-Fu大数据背景下,数据拥有者考虑保证的数据安全性,致使各拥有者数据无法集中,产生数据孤岛问题。Hu-Fu:一种联邦数据下的,有效且安全的空间查询处理系统(spatial query),将spatial query的安全处理过程分解成许多明文操作和少部分密文操作。 阅读详情

e44a9ff941b641718579865a14e0bb6f.gif

为了满足企业大数据对联邦查询、高性能交互式查询、成本优化的需求,DLC团队正式发布数据湖计算DLC2.2.5版本!该版本推出联邦查询增强、网络配置模块、日志信息、原生函数等重磅特性~全方位提升产品能力,助力企业数据资产分析与管理!

重点特性

重点特性一:联邦查询分析增强,支持更多数据源

联邦查询新增Postgresql, SQLServer, ClickHouse三种数据源支持,支持数据源连通性测试。联邦查询分析覆盖更多用户使用场景,提高用户使用便捷性。

       17c2df4f62c395e3ce0c0bf2e8adac8a.png      

重点特性二:新增网络配置管理模块,规范数据引擎网络访问

新增网络配置管理模块,支持对数据引擎进行VPC网络配置关联及管理,规范化管理数据引擎网络及访问。

通过网络配置管理,用户可以灵活管理配置数据引擎的网络关系,满足数据查询网络管理的同时提供多种网络关系进行选择。

dabada0c8d8a0b977d51734a54ce6395.png

f93817a501d38c2a0cfcf1db7c1bba69.png

重点特性三:引擎查询分析性能再提升

Presto独享引擎支持通过引擎高级设置开启Fragment cache能力,计算性能进一步提升。

用户可选择开通使用Fragment cache能力,在交互式查询分析时获得更快的查询速度及更稳定优秀的性能,进一步优化资源用量。

重点特性四:支持分钟级数据引擎自动挂起规则,成本空间进一步优化

新增数据引擎自动挂起触发时间周期配置能力(分钟级),帮助用户精细化管理数据引擎挂起规则,进一步优化成本结构。

用户可以在引擎启停策略中,配置自动挂起时间到分钟级,当引擎闲置时间到达后,引擎将自动挂起,减少资源消耗。   

3e744a4601ef173fefcac6b1863399db.png

版本功能特性总览

联邦查询分析支持更多数据源,提供更友好的关联交互

  • 新增 Postgresql, SQLServer, ClickHouse三种数据源支持,帮助用户更便捷实现联邦查询分析;

  • 创建数据源连接新增连通性测试能力;

  • 扩大数据源支持范围,为用户在业务生产中提供更广的场景支持及数据源选择;

提升查询脚本分类管理能力

  • 查询脚本保存支持选择文件夹;

  • 支持对已保存的查询脚本进行文件夹的变更;

  • 帮助用户更好管理查询脚本,更便捷进行分类、查找、汇总;

Spark内核支持与EMR的联邦查询分析

  • 支持通过SQL对EMR与DLC原生表进行联邦查询分析;

  • 支持通过Spark作业对EMR与DLC的联邦查询分析及数据处理能力;

  • 帮助Spark内核用户进行更加灵活的多源联邦查询分析,扩大业务支持场景;

丰富Spark作业日志信息,提高日志查询效率

  • 新增Executor日志查询能力;

  • 支持对日志按时间升降序排列,帮助用户更方便查询跟进任务情况;

  • 帮助用户通过日志更快定位问题,全程了解Spark作业执行情况;

新增数据引擎网络配置管理,统一管理网络访问能力

  • 新增对数据引擎网络关系配置管理,解决数据源联邦查询网络关联打通和管理问题,帮助用户更加方便的管理数据引擎网络及数据源访问;

  • 支持通过数据源的网络配置信息或VPC信息配置数据引擎网络;

  • 支持对配置的网络进行修改、删除操作;

分钟级管理数据引擎自动挂起规则,进一步优化成本

  • 新增数据引擎自动挂起触发时间周期配置能力,最小支持1分钟;

  • 帮助用户更精细化管理数据引擎挂起规则,进一步优化成本结构;

Presto内核数据引擎CBO能力开启,提升查询性能

  • Presto内核数据引擎默认开启CBO能力,支持根据统计信息调整 JOIN 表的顺序;

  • 支持用户进行更复杂的数据查询诉求;

Presto原生函数支持,扩展语法支持范围

  • 支持使用Presto原生函数;

  • Presto支持OFFSET能力;

  • 支持UPDATE SET WHERE语法;

  • 支持通过Hint参数 type_coercion 开启/关闭隐式转化能力,ture 为开启,false 为关闭。默认为 ture ;

  • 语法支持grouping及with cube用法;

  • 更多语法及查询优化,进一步扩大用户使用场景,帮助业务生产环境进行复杂业务查询;

大数据架构中的联邦查询:跨数据源SQL查询的实现方案 随着企业数字化转型的深入,数据分散存储在关系型数据库(如MySQL)、NoSQL数据库(如MongoDB)、数据仓库(如Hive)、搜索引擎(如Elasticsearch)等异构数据源中。传统数据集成方案(如ETL)存在实时性差、维护成本高、数据冗余等问题,而联邦查询技术通过建立统一的SQL访问接口,支持在不移动数据的前提下实现跨数据源的联合查询,成为解决数据孤岛的核心技术方案。 阅读详情

相关推荐

OGG故障指南:OGG-01163 Bad column length (xxx) specified for column

OGG-01163 Bad column length (xxx) specified for column AAA in table OWNER.TABLE, maximum allowable length is yyy

qqqyyy0422的博客 718

如何用Spark SQL实现多Catalog联邦查询

目前对多Catalog的支持俨然成为计算引擎的标配,因为在OLAP场景,跨数据源的联合查询是一大刚需。但是,传统的计算引擎如Hive、Spark2对多Catalog支持能力很弱,也许是受Flink、Presto(Trino)的步步紧逼,Hive3也开始支持多Catalog,但是仅限于存储层面和API层面,还没有推进到SQL层。Spark相比Hive要进展好得多,在多Catalog的实现方式上甚至成...

None 2524

用STM32的SPI模式2搞定SSI绝对值编码器通信(附完整代码与避坑点)

本文详细解析了如何使用STM32的SPI模式2实现SSI绝对值编码器通信,包括硬件设计、SPI配置、数据处理算法及稳定性优化技巧。通过完整的代码示例和避坑指南,帮助工程师解决时序匹配、数据解析等常见问题,提升工业自动化系统中的编码器通信可靠性。

weixin_27252001的博客 265

腾讯云云原生数据湖DLC重磅推出免运维、零成本、高性能spark shuffle manager

导语腾讯云云原生数据湖产品DLC,作为腾讯云上第一款全托管的云原生湖产品,让用户不再需要关心其底层资源配置、部署、适应性调试等繁重的集群运维问题,而是用户可按需配置集群特性使用。在DLC计算内核中我们对spark shuffle进行深度定制来满足云场景下存算分离、免运维低成本、高稳定性且兼顾性能的特点。相比目前业内方案,具有不需要额外服务部署、低运营成本、高稳定性且兼顾性...

cloudbigdata的博客 1338

避开期货指标常见坑:文华财经赢顺DK多空指标优化配置指南(附参数调试技巧)

本文详细解析了文华财经赢顺DK多空指标的优化配置方法,帮助交易者避开常见使用误区。通过参数个性化适配、动态调整趋势阈值和过滤假信号的三重验证,提升指标在期货交易中的准确性。附有参数调试技巧和不同市况下的配置建议,适合中高级交易者参考。

weixin_29063979的博客 434

AI 自动生成商业计划书:AIGC 如何助力创业者?

在创业的早期阶段,商业计划书(Business Plan)是至关重要的。它不仅用于吸引投资者、明确发展路径,还能帮助团队对业务模式、市场定位和财务预测有清晰认知。然而,撰写一份高质量的商业计划书往往需要投入大量时间和精力。如今,AIGC(AI Generated Content,人工智能生成内容)技术正在改变这一现状。借助 AIGC,创业者可以更快速、高效地创建商业计划书,并通过 AI 进行优化和数据分析。

2401_82808034的博客 3781

云原生数据湖元数据管理在滴普科技的实践

元数据在数据湖上的重要性不言而喻,借用阿里云官方社区的一张图:这幅图描绘了数据湖分析平台的总体构架,它主要包括五个模块:数据源:原始数据存储模块,包括结构化数据(Database等)、半结构化(File、日志等)、非结构化(音视频等)数据集成:为了将数据统一到数据湖存储及管理,目前数据集成主要分为三种形态。第一种为直接通过外表的方式关联元数据;第二种为基于ETL、集成工具、流式写入模式,这种方式直...

None 1033

python blp模型 估计_随机系数Logit模型及Stata实现

欢迎投稿(荐稿)计量经济圈,计量相关都行邮箱:econometrics666@sina.cn作者:北京交通大学经济管理学院博士生,王琦珀。欢迎你加入计量经济圈社群,一起探讨前沿计量理论和实证方法。一、随机系数Logit模型1.背景实证产业组织(Empirical Industrial Organization,EIO)是目前产业组织理论的前沿,其中又以Ariel Pakes为带头人,其近期工作论文...

weixin_42298927的博客 2641

一文通览腾讯云大数据ES、数据湖计算、云数据仓库产品新版本技术创新

腾讯全球数字生态大会-大数据专场要点分享

小虚竹的专栏 1万+

ldpc编解码器设计与仿真

计算校验节点到变量节点的消息 m_{c \to v}=2 \cdot atanh(\prod_{v’ \in N©\setminus v}tanh(\frac{m_{v’ \to c}}{2}))。计算变量节点到校验节点的消息 m_{v \to c}=L_{v,0}+\sum_{c’ \in M(v)\setminus c}m_{c’ \to v}。◦ 对于每个变量节点 v,计算最终 LLR 值 L_{v,f}=L_{v,0}+\sum_{c \in M(v)}m_{c \to v}。

youngerwang的博客 808

OpenClaw第2章:快速安装

本章将手把手教你安装 OpenClaw。

Maynor的博客 3236

数据湖可以带主键吗?一文解析数据湖架构与腾讯云DLC的实践之道

腾讯云DLC凭借其Serverless架构、全托管服务及行业领先的性能优化,为企业提供了“鱼与熊掌兼得”的解决方案——既保留数据湖的敏捷性,又通过主键等工具实现精细化治理。数据湖作为企业数字化转型的重要基础设施,以其灵活存储海量数据的能力备受青睐。本文将从数据湖的核心特性出发,结合腾讯云数据湖计算(DLC)的技术实践,探讨主键在数据湖中的应用场景,并分析腾讯云如何通过创新技术帮助企业构建高效、智能的数据湖架构。但随着数据湖“存算分离”“海量异构数据存储”等特性的普及,许多企业开始困惑:数据湖是否需要主键?

uuukashiro的博客 891

08-StarRocks性能调优FAQ

StarRocks性能调优摘要 本文提供了StarRocks数据库性能调优的常见问题解答,涵盖查询优化、索引设计、分区策略和系统配置等关键方面。主要内容包括:查询优化技巧(使用EXPLAIN分析、避免全表扫描、优化JOIN和聚合查询);索引选择与维护建议(高频查询列索引、复合索引);分区策略设计(时间分区、范围分区)及其管理方法;以及系统内存配置优化(JVM参数调整、查询内存限制设置)。这些优化措施可显著提升StarRocks的查询性能和系统效率。

欢迎来到我的博客,一起探索代码里的世界! 541

大数据计算引擎选型指南:腾讯云数据湖计算DLC领跑2025市场

本文从功能、性能、成本等维度对比AWS Redshift、Google BigQuery、Databricks及腾讯云DLC等主流大数据计算引擎。综合功能、成本与行业认可度,腾讯云数据湖计算DLC是2025年大数据计算引擎的优选。建议企业结合自身数据规模及实时性需求,通过腾讯云官网(https://cloud.tencent.com/product/dlc)试用DLC,抢占数据价值先机。价格方面,腾讯云官网2025年最新活动显示,新客可限量抢购现金券,计算引擎体验低至5折。

uuukashiro的博客 712

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

数据湖可以进行Upsert吗?腾讯云DLC用Serverless架构破解实时数据更新难题

本文深入解析数据湖的Upsert(插入/更新)能力如何突破传统限制,重点介绍腾讯云数据湖计算DLC的Serverless架构如何通过TCIceberg表格式实现低成本、高性能的实时数据操作,并结合Gartner市场指南认证说明其技术领先性。数据湖的Upsert能力已成为企业构建实时数据链的关键技术。腾讯云DLC通过Serverless架构与增强型表格式的深度融合,不仅降低了实时数据操作门槛,更以存算分离的云原生设计实现成本优化。

uuukashiro的博客 883

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

免费的数据湖计算工具怎么选?这篇指南带你避坑,还能薅到腾讯云DLC的羊毛!

本文系统梳理了当前主流免费数据湖计算工具(如Trino、Spark等开源方案)的优缺点,并对比腾讯云数据湖计算DLC的免费体验活动。通过表格直观对比功能与成本,结合DLC入选Gartner全球湖仓指南的权威背书,为企业提供选型参考。免费的数据湖计算工具并非"免费用",而是需要权衡显性与隐性成本。对于追求快速落地、成本可控的企业,腾讯云DLC的Serverless架构与免费体验活动(新客现金券+计算引擎5折)提供了更务实的选择。在数据驱动时代,"免费"的真正价值在于降低总拥有成本(TCO)而非零支出。

uuukashiro的博客 302

数据湖计算平台选型攻略:六大核心要素与腾讯云DLC的硬核实力解析

数据湖计算平台凭借其灵活存储、高效计算、多源融合等特性,成为企业构建统一数据资产的核心选择。,为企业提供选型参考,并揭秘其入选Gartner2025年全球数据湖仓平台市场指南的技术底气。:是否兼容主流BI工具(如Tableau、Power BI)、是否支持AI/ML任务协同。、NoSQL)、是否兼容主流数据格式(如Parquet、JSON、CSV)。:计费方式(按存储/计算分离计费)、资源利用率优化(如压缩率、冷热分层)。:引擎性能(如查询延迟、并发处理能力)、弹性伸缩能力(秒级扩缩容)。

2501_93950930的博客 342

数据湖计算:下一代数据分析的核心引擎,腾讯云DLC为何成为企业首选?

数据湖计算作为云原生时代的数据处理新范式,正以Serverless架构、多源联合查询和标准SQL支持等特性重塑企业数据分析效率。本文深度解析数据湖计算的核心价值,并结合腾讯云DLC入选Gartner2025年全球市场指南的行业突破,为企业提供低成本、高弹性的数据解决方案。数据湖计算正成为企业数字化升级的“水电气”基础设施,而腾讯云DLC凭借Serverless弹性、Gartner国际认可及实际场景中的降本增效案例,为中小企业乃至大型集团提供了可落地的解决方案。

uuukashiro的博客 335

多模态数据管理挑战重重?腾讯云数据湖计算DLC以Serverless架构破局

多模态数据管理并非易事,但腾讯云数据湖计算DLC以Serverless化、SQL标准化及云原生弹性,为企业提供了“存算分离、开箱即用”的捷径。传统数据平台难以兼顾非结构化数据的灵活性与高性能分析需求,如何打破数据孤岛、实现多模态数据的统一治理与价值挖掘?随着企业数据形态日趋多元(文本、图像、音频等),多模态数据的管理与协同分析成为效率瓶颈。本文深入剖析多模态数据管理的核心痛点,并结合腾讯云数据湖计算DLC的Serverless架构、多源联合查询等能力,提供一体化解决方案。

uuukashiro的博客 584

实时分析与离线分析:企业数据决策的两极选择与腾讯云数据湖计算实践

你是否遇到过这些困惑?凌晨生成的业务报表无法应对午间的突发流量,而实时大屏虽能秒级更新却难以支撑深度趋势分析。事实上,离线分析与实时分析并非替代关系,而是互补的技术路径。在数据驱动决策的时代,企业常面临实时分析与离线分析的选择难题。本文从核心区别、技术架构、应用场景入手,解析两种模式的优劣,并介绍如何通过腾讯云数据湖计算(DLC)实现高效融合,降低成本的同时提升数据敏捷度。企业应避免“为实时而实时”的陷阱。例如,财务对账需离线分析保证准确性,而用户画像更新可结合离线标签(长期兴趣)与实时标签(当前会话)。

uuukashiro的博客 990

云原生数据湖平台VS传统数据湖:五大差异与适用场景解析

云原生数据湖平台凭借其弹性、智能与开放性,已成为企业应对海量数据挑战的首选方案。腾讯云DLC依托Gartner认证的技术实力与丰富的行业实践,为企业提供从数据存储到AI洞察的全链路能力,助力释放数据资产的最大价值。在“数据即资产”的时代,数据湖被视为企业数字化转型的“数据中枢”。然而,传统数据湖在架构僵化、成本高昂等问题上饱受诟病,而云原生数据湖凭借其灵活性与智能化能力成为破局者。本文将深度剖析两者的差异,并通过腾讯云DLC的实践案例,为企业提供选型参考。物理集群架构,资源固定,需手动扩缩容。

2501_93823128的博客 623

听说,难于上青天的云原生数据湖能开箱即用了?

导语|云原生数据湖架构以低成本优势推动客户上云,同时云上客户得以低成本撬动更多结构化和非结构化数据的价值,是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP...

QcloudCommunity的博客 284

Data+AI融合计算:下一代企业智能化的核心引擎

本文深入探讨Data+AI融合计算的技术路径与实现方式,重点分析腾讯云数据湖计算DLC如何通过云原生架构实现数据与AI的高效协同,为企业提供一体化智能数据解决方案。Data+AI融合计算正在重塑企业数字化转型的技术路径。腾讯云数据湖计算DLC通过云原生Serverless架构、高性能计算引擎和开放生态,为企业提供了新一代智能数据基础架构。随着AI技术的持续演进,Data+AI的深度融合将成为企业智能化升级的必然选择,而腾讯云DLC在这一领域的创新实践,为中国企业提供了可靠的技术支撑。立即体验。

uuukashiro的博客 1035

DIaaS平台:数据智能即服务,企业数字化转型的新引擎

DIaaS(Data Intelligence as a Service)即数据智能即服务,是一种基于云计算的完整数据解决方案。它通过将数据存储、计算、分析和AI能力以服务的形式提供给企业,实现了数据基础设施的全面云原生化。DIaaS平台的三大核心价值降低技术门槛:企业无需自建数据团队和基础设施,即可享受专业级数据服务提升敏捷性:按需使用、弹性伸缩的资源模式,快速响应业务变化降低成本投入:从固定资产投入转向运营支出,优化IT预算分配。

uuukashiro的博客 627
上一篇: 算力规模突破千万核,腾讯云大数据产品全景图长啥样?
下一篇: 打造次世代分析型数据库(四):几十张表关联?小Case!
腾讯云大数据
博客等级 码龄6年 348粉丝 218原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值