tdh

最新推荐文章于 2024-11-09 09:01:42 发布
原创 最新推荐文章于 2024-11-09 09:01:42 发布 · 899 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

er hjzbn / rew09 u5erahshrtjtrshrtjrtshjnjrsdmhndtmkdtmjdtdfgnjfjmdn

bvmdghfgngfdkjd gh,mgdg  

tianjjj
关注
星环大数据平台(TDH)--快速搭建指南
二进制专栏
10-30 1899
星环大数据，是目前金融领域非常常见的大数据平台，快速了解对于找工作和胜任工作非常有帮助，希望能够帮到你
TDH常用命令
D2cOneluo的博客
08-07 3150
beeline命令 PL/SQL对分号的支持 inceptor默认对pl/sql语句的分号是不支持的，需要手动打开支持。手动打开后，需要在数据块后面加上一个只包含斜杠/的单独行来标识数据块结束。详情见： 分号支持详解. --打开支持分号 !set plsqlUseSlash true --关闭支持分号 !set plsqlUseSlash false 方言设置 方言类型 是否默认 beeline设置命令 Oracle 是 !set plsqlClientDialect oracle &lt
TDH-学习材料
lixgjob的博客
07-17 1016
官网帮助地址： https://www.warpcloud.cn/#/documents-support/docs/products?category=TDH
免费的TDH社区版基础能力演示--计算隔离（离线跑批、OLAP分析业务演示）
tiancaidddddd的博客
12-07 1173
TDH社区版具备task级别的资源管控，同时支持对user和单个query的计算资源分配，分配更灵活。 本篇文章将从离线跑批及OLAP分析两个业务场景为您演示如何在安全管理组件Guardian上配置Furion Scheduler来对队列资源进行配额与权限管理。
【大数据基础平台】星环TDH社区集群版本部署
康师傅没有眼泪
11-02 4417
TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。
【TDH】Kafka、Flume、Slipstream基本操作
象在舞的技术专栏
12-18 1530
【Kafka操作：在${KAFKA_HOME}/bin下执行Kafka操作】 1、在星环TDH集群上操作Kafka的时候首先要进行相关的赋权操作 （1）赋予当前用户（当前用户以hive为例，可以使用kinit进行用户的切换）操作集群的权限 ./kafka-acls.sh --authorizer-properties zookeeper.connect=node3:2181,node2:2...
TDH 常见运维命令（部分）
qq_28694119的博客
01-18 6376
  通过一条命令来搜集所有节点下regionServer的Exception日志: cat /etc/hosts | grep 172.16 | awk  '{print $1}' | xargs -i ssh {} " grep Exception -R /var/log/hyperbase1/*log"    截图如下。日志较多截不完，就直接取消了     查找InceptorS...
星环大数据平台--TDH部署
weixin_63297999的博客
11-09 849
将从官网下载下来的产品包解压后上传至安装环境产品包名称：TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz。执行下述命令进行解压，解压后将出现一个镜像tar包：tdh-standalone-2023.5.tar。下载完成后是下面的这个tar包，把这个包上传到linux中解压，解压后有个TDH-Client文件夹。要使用TDH-Client需要安装JDK，并配置好JDK的环境变量。点击Manager自带，选中下面的TDH，点击中间的>。
TDH安装部署
m0_51192710的博客
11-17 1164
TDH安装部署 RUGBY以上内存 2个300GB以上的硬盘做RAID 1，作为系统盘 4个以上的300GB容量以上的 硬盘作为数据存放硬盘2个千兆以上网卡对docker分区进行格式化处理（三台服务器）在Redhat/CentOS上，docke
TDH培训材料.zip
12-16
第1讲_大数据技术概述.pdf 第2讲_分布式文件系统HDFS.pdf 第3讲_分布式资源管理框架YARN.pdf 第4讲_分布式计算框架.pdf 第5讲_分布式ETL工具Sqoop.pdf 第6讲_分布式数据采集工具Flume.pdf 第7讲_分布式消息队列Kafka.pdf 第8讲_星环大数据产品介绍.pdf 第9讲_TDH平台的软硬件环境要求.pdf 第10讲_TDH集群的角色分配.pdf 第11讲_分布式SQL引擎Inceptor.pptx 第12讲_SQL集成开发环境Waterdrop.pdf 第13讲_实时流处理引擎Slipstream.pdf
星环TDH平台安装方法.pdf
10-12
星环TDH平台安装方法，掌握 TDH 平台的安装和配置方法，了解 TDH Manager 的使用方法
使用CDH5.14.0方式Cloudera Manager快速搭建hadoop集群
strelizia
08-21 759
*1.前置操作* 准备了四台虚拟机。root密码均为WHDCone7888# *修改hosts文件* 在四台节点上修改hosts文件，并且最好更改自己的hostname。 映射命名如上。vim /etc/hosts 10.3.69.80 cdh00 10.3.69.81 cdh01 10.3.69.82 cdh02 10.3.69.83 cdh03 hostnamectl set-hostname cdh00 hostnamectl set-hostname cdh01 hostnamectl set-ho
搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）
little prince，blue coder
07-25 1万+
大数据核心原理与实践专栏 说明： TDH社区版还挺好用的，无限量续签许可证，如果大家只是想玩玩儿大数据平台，或者刚入行大数据想练手，那么TDH社区版就够用了，避免了你前期安装一系列Hadoop组件的麻烦。 想当年，笔者不知道有一站式大数据平台这玩意儿，还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间，这也是为什么想了很久还是写下了这篇博文，希...
星环TDH产品详解
热门推荐
qq_40822132的博客
03-20 1万+
星环TDH产品详解
手把手教你安装单机部署、开箱即用的TDH社区开发版
tiancaidddddd的博客
06-13 1529
日前，星环科技TDH社区版新版本正式发布，除了全面增强产品运维能力、多模型能力之外，带来了一个全新的可以单机部署、开箱即用0配置的社区开发版，进一步降低了用户的资源成本。
后台下载 TDH-Client 方法
qq_28694119的博客
01-18 1571
  在使用 星环 TDH 大数据平台过程中，我们必会用到TDH-Client ，其中集成了很多平台组件的客户端。 该Client 可以通过manager下载，但是比较麻烦，我们也可以通过后台获取Cookies 的方式下载该客户端。 步骤如下： 1 获取TDH Manager 的cookies 文件 2 根据cookies文件下载  TDH VERSION < 5.2    wg...
TDH建表语句汇总
wj1298250240的博客
02-15 2194
TDH建表语句汇总 TEXT表 TEXT表是文本格式的表，是Inceptor默认的表格式。在数据量大的情况下，TEXT表的统计和查询性能 都比较低； TEXT表也不支持事务处理，所以通常用于将文本文件中的原始数据导入Inceptor中； 不建议在任何计算场景中使用TEXT表； CREATE EXTERNAL TABLE test.t1_ext ( id string ,legal...
mysql tdh_socket_thread_num_TDH_Socket与HandlerSocket和MySQL的特性优缺点对比
weixin_32751961的博客
01-28 82
workming：请教一下，Spark On YARN总会失败，信息如下：|@|2014-01-03 16:14:06,675 WARN [main] yarn.ApplicationMaster (Logging.scala:logWarning(60)) - Failed to connect to driver at namenode1:3039, retrying ...|@|2014-...
TDH sql
最新发布
03-13
<think>好的，我现在需要处理用户关于星环TDH平台SQL用法或问题的查询。首先，用户提到TDH可能是星环科技的大数据平台，而他们想了解相关的SQL用法或问题。根据提供的引用内容，我需要从这些引用中提取相关信息，并结合我的现有知识来构建回答。 首先，查看引用内容： 引用[1]提到在TDH中使用Hive时，可以使用start with进行递归查询，类似于Oracle的语法。这应该是递归查询的用法。 引用[2]指出在TDH环境中执行SQL时遇到OutOfMemory错误，原因是涉及大表的group by操作导致map端聚合超出内存限制。这说明用户在使用大表聚合时需要注意优化。 引用[3]和[4]介绍了TDH的组成和核心产品，特别是Inceptor作为大数据分析数据库，支持Inceptor SQL、PL/SQL等，并且元数据存储在Metastore中，数据可以存在HDFS或内存/SSD中。这可能涉及不同存储引擎的使用场景和优化方法。 用户的问题可能包括如何使用特定功能，如递归查询，以及如何处理性能问题，如内存溢出。此外，可能还需要介绍TDH中SQL的一般用法，比如支持的语法、存储引擎的选择、性能优化技巧等。 接下来，我需要将这些信息组织成结构清晰的回答。首先，介绍递归查询的实现，引用[1]中的例子。然后，讨论性能优化，如避免大表group by导致的内存问题（引用[2]），以及Holodesk引擎的使用（引用[4]）。此外，还需要提到TDH支持的SQL方言和扩展功能，比如Inceptor SQL和PL/SQL的支持（引用[4]）。可能还需要补充其他注意事项，比如存储格式的选择（ORC、TEXT等）对性能的影响，以及事务处理的支持情况。 在生成相关问题部分，需要围绕这些主题展开，比如如何优化递归查询、处理内存错误的方法、不同存储引擎的区别等。 需要确保回答中的LaTeX格式正确，行内公式用$...$，独立公式用$$...$$，但根据用户的问题，可能不需要太多数学公式，但如果有涉及性能分析的公式可能需要使用。例如，计算内存使用量可能需要公式，但根据引用内容，可能不需要。因此，可能主要关注语法和优化建议，而非数学表达式。 最后，检查所有引用是否恰当，回答是否符合用户的要求，结构是否清晰，是否生成了相关问题。</think>### TDH平台SQL用法与常见问题 根据星环TDH的技术文档，其SQL功能主要体现在Transwarp Inceptor（大数据分析数据库）和Hive组件的使用中，以下为关键点整理： 1. **递归查询实现** 在TDH的Hive组件中，可通过Oracle语法实现递归层次查询，使用`start with ... connect by`语句。例如查询部门层级关系： ```sql SELECT dept_id, parent_dept FROM departments START WITH parent_dept IS NULL CONNECT BY PRIOR dept_id = parent_dept; ``` 此语法与Oracle兼容，但需注意TDH版本是否支持[^1]。 2. **性能优化方法** - **避免大表GROUP BY内存溢出**：若执行含大表聚合操作的SQL时报错`OutOfMemory`，需检查是否因Map端聚合数据量超过Hash Map限制。优化方法包括： - 增加`mapreduce.task.io.sort.mb`参数值 - 减少聚合字段数量或提前过滤数据[^2]。 - **使用Holodesk引擎加速查询**：将频繁访问的热数据表定义为Holodesk表（存储于内存/SSD），适用于实时分析场景。例如： ```sql CREATE HOLO TABLE sales (...) STORED AS HOLODESK; ```[^4] 3. **存储格式与语法扩展** - **支持多种存储格式**：包括TEXT、ORC、CSV等，需根据场景选择。例如ORC格式适合压缩与分析，CSV适合数据交换。 - **Inceptor SQL扩展功能**：支持PL/SQL语法、窗口函数、自定义函数（UDF）等，例如： ```sql CREATE FUNCTION calculate_tax(salary DOUBLE) RETURNS DOUBLE BEGIN RETURN salary * 0.1; END; ``` 4. **事务与锁机制** TDH Inceptor支持ACID事务（仅限ORC表），可通过`BEGIN TRANSACTION`和`COMMIT`控制，但需注意锁粒度对并发性能的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值