easilyyy-优快云博客

原创 Oracle函数和梧桐2.0函数对比使用介绍

Oracle 在使用中有些常用的函数，我们针对这些函数内容梳理了基于梧桐6.0版本的替代解决方法，以便用户在平时国产化项目及其他工作更加方便的对照和参考。

2024-10-30 10:09:01 804

原创梧桐云原生分析型数据库的游标使用经验

梧桐云原生分析型数据库中游标（cursor）是系统为用户开设的一个数据缓冲区，存放SQL语句的执行结果。每个游标区都有一个名字,用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。

2024-10-30 10:01:57 423

原创梧桐云原生分析型数据库数据加载非UTF8格式文件的解决方法

梧桐云原生分析型数据库中系统设置编码格式是 UTF8,如果入库文件不是 UTF8 编码格式的不能成功入库，所以需要对非 UTF8 格式的文件进行转码操作。统一编码格式能够保证数据的准确性，从而业务可以正常运行。

2024-10-30 09:59:44 267

原创梧桐云原生分析型数据库数据生命周期管理使用指南

数据生命周期从数据规划开始，包括开发、产生、部署应用、监视、存档和销毁，是一个不断循环的过程。数据生命周期管理是通过对数据不同阶段的针对性管理措施来降低数据管理成本并提高数据质量度，最终达到数据价值最大化的目的。

2024-10-30 09:50:36 862

原创梧桐云原生分析型数据库导出数据到HDFS设置文件个数的解决方法

某某大数据系统有部分出接口。由于公司对数据库平台国产化改造的要求，需要将这部分出接口任务修改为适配国产梧桐云原生分析型数据库；有部分出接口，目的端对传输的文件个数有限制。为了符合这种个性化的业务需求，要对导出文件个数做限制。

2024-10-30 09:45:32 668

原创梧桐云原生分析型数据库udf调用不识别自定义函数的解决方法

UDF函数（User-Defined Function）是指用户自定义的函数，它是通过UDF框架定义、实现并应用在数据处理过程中的自定义函数。UDF函数主要是解决经典的SQL分步查询无法自定义处理数据，以及SQL查询很难实现一些比较复杂逻辑的情况，UDF函数可以把一些复杂逻辑以高效的方式实现，从而让数据处理变的更容易，更简单。

2024-10-30 09:34:08 451

原创梧桐云原生分析型数据库与Hive对接技术解决方案

Oracle数据迁移到梧桐云原生分析型数据库采用MapReduce分片抽取加载梧桐云原生分析型数据库方案。

2024-10-30 09:29:11 475 1

原创 GoldenDb数据迁移梧桐云原生分析型数据库技术解决方案

随着数据库国产化不断推进，某某公司有部分重要接口数据，源端使用的是GoldenDb数据库。如何快速高效将这部分GoldenDb数据库中的数据加载到梧桐云原生分析型数据库，将成为梧桐云原生分析型数据库承载这部分GoldenDb数据业务的关键因素。

2024-10-28 23:37:05 2563

原创梧桐云原生分析型数据库在电信行业解决方案

根据某某公司本地BOM三域业务的使用情况，规划建设“1+N+1”存算分离的梧桐数仓集群。分别表示“一套物理集群”、”多个计算逻辑子集群”、“一套共享存储集群”。计算子集群包含主数仓、数据集市、开发库、考核库等子集群。存储集群采用HDFS文件系统。

2024-10-28 23:00:29 425

原创梧桐云原生分析型数据库向HTAP数据库演进

某某大数据平台B域和O域业务采用梧桐云原生分析型数据库和HIVE支持，统计分析的结果以报表形式通过前台门户展示。而报表展示却采用OLTP数据库（Oracle）支撑，这种由于产品能力引起的业务处理流程的分离，导致了数据处理的低效率和高成本。随着云计算和大数据技术的发展，通过整合OLTP和OLAP能力。从而提供一个高效、灵活且成本效益高的数据处理平台。

2024-10-28 22:58:17 1771

原创梧桐云原生分析型数据库计算节点在线伸缩容

梧桐云原生分析型数据库作为云原生存算分离架构的MPP数据仓库，为了保证系统资源利用率最大化和业务系统高可用，梧桐计算节点需要具备在线弹性收缩能力。

2024-10-28 22:48:56 524

原创梧桐云原生分析型数据库对接HIVE

目前O域原始信令消息每天达到500-700TB，针对超大规模数据量目前采用的方案是将信令数据直接入库到HIVE，供后续业务分析。由于 HIVE HQL 表达能力有限和Hive效率较低，所以通过采用梧桐云原生分析型数据库对接HIVE，将HIVE数据作为梧桐云原生分析型数据库的外表，通过梧桐云原生分析型数据库SQL引擎进行统计分析。

2024-10-28 22:33:33 730

原创梧桐云原生分析型数据库存储节点在线弹性扩容

梧桐云原生分析型数据库采用存算分离架构，存储节点采用HDFS分布式存储。基于HDFS分布式存储特性，梧桐云原生分析型数据库存储扩容能够实现系统在线节点扩容，业务系统无感知，确保业务系统7X24高可用。

2024-10-28 22:28:21 319

原创 Vertica数据迁移梧桐云原生分析型数据库技术解决方案

第二、采用Vertica提供的导出工具Parallelexport或export to csv，将vertica数据按照节点导出到HDFS，梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件，最好将外部表数据插入到内表。第一、采用JDBC连接方式将Vertica数据库抽取到HDFS，梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件，最好将外部表数据插入到内表；通过对比，Vertica数据迁移到梧桐云原生分析型数据库采用第二种方案。psql -h -p -U <用户名称> -d。

2024-10-28 22:15:58 825

原创 Oracle数据迁移梧桐云原生分析型数据库技术解决方案

某某公司考核数仓和应用数仓由Oracle数据库承载。按照总公司数据库国产化要求，计划将Oracle数据库将迁移至梧桐云原生分析型数据库，如何高效快速地将数据迁移至梧桐云原生分析型数据库成为数据库迁移成败关键因素。

2024-10-28 22:07:09 402

原创 Oceanbase数据迁移梧桐云原生分析型数据库技术解决方案

某某公司数据仓库数据源类型有以下三种：文件接口、数据库接口和实时接口。随着数据库国产化进程不断深入，部分系统由Oracle数据库更换为OceanBase数据库。如何快速高效将OceanBase数据库中的数据加载到梧桐云原生分析型数据库，成为梧桐云原生分析型数据库承载数仓业务的关键因素。

2024-10-28 21:56:54 371

原创梧桐云原生分析型数据库与oracle数据库数据加载对标测试

梧桐云原生分析型数据库作为云原生存算分离架构数据库，具备云原生、高性能、强兼容、高并发、纯国产等特性。Oracle是甲骨文公司的一款关系数据库管理系统，Oracle 数据库系统是世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小微机环境。它是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。

2024-10-28 21:50:26 463

原创梧桐云原生分析型数据库与Hive数据库数据加载对标测试

梧桐云原生分析型数据库作为云原生存算分离架构数据库，具备云原生、高性能、强兼容、高并发、纯国产等特性。hive 是基于 Hadoop 的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive 数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。

2024-10-28 21:45:18 318

原创梧桐云原生分析型数据库加载设置错误条数的方法

某某大数据系统接入很多接口。现需要将这部分接口任务修改为适配国产梧桐云原生分析型数据库；有部分接口，源端表提供的数据量大且会有几条、十几条内容不符合规范，导致梧桐云原生分析型数据库无法成功入库，为确保不因很少比例的数据影响整体接口成功接入，从而影响整体业务，需要对梧桐云原生分析型数据库设置入库最大抛弃条数。

2024-10-18 17:24:59 930

原创如何查询梧桐云原生分析型数据库历史执行记录

使用 ElasticSearch 来实现审计日志的收集和分析。审计日志是记录系统或应用程序中发生的重要事件的一种可信证据，对于安全监控、问题跟踪和合规性审计都起着关键作用。通过使用ElasticSearch ，我们能够方便地收集来自各个源的审计日志，并进行灵活的查询、过滤和可视化分析。

2024-10-18 17:22:42 293

原创梧桐云原生分析型数据库Slice不足的临时解决方法

Slice(分片)策略是一种在计算机科学和信息技术领域中常见的数据处理策略。分片策略通常用于大规模数据集或者大容量文件，以便于并行处理和提高系统性能。分片是一种重要的数据处理和系统优化策略，在大数据、分布式系统和数据库设计中都有着广泛的应用。通过合理的分片策略，可以充分的利用系统资源，提高并行处理和系统性能，从而更好地满足用户的需求。

2024-10-18 17:17:42 212

原创 Vertica与梧桐云原生分析型数据库数据类型对比

在愈演愈烈的国产化趋势下，某某公司需要一个能够快速处理大数据量的国产化数据仓库，目前推出梧桐数据库用来代替现有的Vertica数据库，在实际的Vertica数据库迁移到梧桐数据库过程中，需要提供两个数据库间的数据字段类型的映射关系，便于提高工作的效率。

2024-10-18 16:42:43 281

原创 Vertica数据库Perl脚本迁移梧桐云原生分析型数据库的注意事项

随着国产化趋势越演越烈，某某公司需要一个能够快速处理大数据量的国产化数据仓库，能够代替现有的Vertica数据库，进而保证某某公司大数据平台持续稳定发展。

2024-10-18 16:40:10 224

原创 Vertica和ORACLE与梧桐云原生分析型数据库函数差异对比

随着国产化趋势越演越烈，某某局点需要一个能够快速处理大数据量的国产化数据仓库，能够代替现有的（Oracle 和 Vertica）数据库进而保证业务的持续稳定发展，要针对业务场景对函数进行验证使用。

2024-10-18 16:33:36 256

原创 Perl通过odbc连接梧桐云原生分析型数据库

Perl是一种相当灵活的程序编程语言，现有的许有程序都是使用它进行编程的。它的优点之一就是无需自己编写编码，你就能利用许多增加的模块，创建新的功能。程序利用这些模块的编码，而程序员就能集中开发编码，无需担心大量的工作量。但是，你必须在Perl程序运行之前安装任何特定的模块。

2024-10-18 16:22:32 611

原创 oracle与梧桐云原生分析型数据库数据类型对比

在愈演愈烈的国产化推广下，某某公司需要一个能够快速处理大数据量的国产化数据仓库，目前推出梧桐数据库用来代替现有的Oracle数据库，在实际的Oracle数据库迁移到梧桐数据库过程中，需要提供两个数据库间的数据字段类型的映射关系，便于提高工作的效率。

2024-10-18 16:14:18 285

原创 Oracle存储过程迁移梧桐云原生分析型数据库的注意事项

随着国产化趋势越演越烈，某某公司需要一个能够快速处理大数据量的国产化数据仓库，能够代替现有的Oracle数据库，进而保证大数据量存储行业持续稳定发展。

2024-10-18 16:04:52 238

原创梧桐云原生分析型数据库数据如何加载DOS格式换行符的文件

Windows系统和Linux系统的行结束符不同。在Windows系统中，行结束符使用的是CRLF（Carriage Return + Line Feed，即\r\n），而在Linux系统中，行结束符使用的是LF（Line Feed，即\n）。当在Windows环境中编辑并上传文件到Linux环境中运行时，如果文件的行结束符被转换为Windows风格的CRLF，那么在Linux中执行该文件时可能会出现错误，因为Linux系统的shell解释器会将换行符视为命令的结束标志。

2024-10-10 17:34:28 672 1

原创如何获取梧桐云原生分析型数据库的表结构

在SQL数据库中，我们经常需要查询表的结构信息，包括表的字段名称、数据类型和约束等。通过查询表结构，我们可以深入了解表的设计和使用规则，为数据操作提供基础支持，当我们需要进行数据迁移、数据分析或系统维护时，了解表的表结构可以帮助我们更好进行相关操作。梧桐云原生分析型数据库没有提供查询表结构的系统视图，所以需要我们封装函数满足需求。

2024-10-10 17:09:53 892

原创梧桐云原生分析型数据库UDF函数中系统时间异常如何解决

sysdate函数是非常实用且常见的系统内置函数，尤其是在ORACLE 和 MySql 数据库中广泛使用。主要用来获取服务器当前的日期和时间，这对于进行实时数据记录、审计跟踪、有效期计算等场景特别有用。sysdate函数返回的是函数被调用时数据库服务器的当前日期和时间。这也意味这每次sysdate被执行，都会得到最新的时间值，所以常用来在函数执行时，根据系统时间定位执行函数中的SQL的运行时长。

2024-10-10 16:44:33 1488

原创梧桐云原生分析型数据库的备份与恢复经验分享

随着数据库国产化的不断深入，数据库对数据的备份、恢复操作至关重要。在梧桐云原生分析型数据库管理中，备份是保障数据安全和可用性的基础，而恢复则是应对意外数据丢失或系统崩溃的关键步骤。备份对于数据库非常重要，可以保护数据的长期完整性和安全性。

2024-10-10 15:34:31 614 3

easilyyy的博客