Orace List部署

create or replace type list_agg  as object

(

   total varchar2(4000),

   static function

        ODCIAggregateInitialize(sctx IN OUT list_agg )

        return number,

   member function

        ODCIAggregateIterate(self IN OUT list_agg ,

                             value IN varchar2 )

        return number,

   member function

        ODCIAggregateTerminate(self IN list_agg,

                               returnValue OUT  varchar2,

                               flags IN number)

        return number,

   member function

        ODCIAggregateMerge(self IN OUT list_agg,

                           ctx2 IN list_agg)

        return number

);

/

create or replace type body list_agg

is

static function ODCIAggregateInitialize(sctx IN OUT list_agg)

return number

is

begin

    sctx := list_agg(null);

    return ODCIConst.Success;

end;

member function ODCIAggregateIterate(self IN OUT list_agg,

                                     value IN varchar2 )

return number

is

begin

    self.total := self.total||','||value;

    return ODCIConst.Success;

end;

 

member function ODCIAggregateTerminate(self IN list_agg,

                                       returnValue OUT varchar2,

                                       flags IN number)

return number

is

begin

    returnValue := substr(self.total,2);

    return ODCIConst.Success;

end;

member function ODCIAggregateMerge(self IN OUT list_agg,

                                   ctx2 IN list_agg)

return number

is

begin

    self.total := self.total||ctx2.total;

    return ODCIConst.Success;

end;

end;

/

CREATE OR REPLACE FUNCTION list(input varchar2 )

RETURN varchar2

PARALLEL_ENABLE AGGREGATE USING list_agg;

/

 

 

##上面LIST的创建是使用网络上的资料,下面操作是本人自己写的。主要是想说明LIST函数使用带来的好处之一。

 

 

#################################

 

select 'update ' ||a.table_name || ' set ' || replace(list(a.column_name||' =nvl(trim('||a.column_name ||'),''/%'')'),'/%',' ')

        from user_tab_cols a

      where a.table_name <> 'MSTM803_BRAND'

      and a.table_name <> 'VMSTM301_PMAMNGER'

      and a.table_name <> 'vmstm311_supplier'

      and a.table_name <> 'VMSTM315_DLVER'  

      and rowunm<20   

      group by a.table_name;     

      commit;

--通过上面查询的sql语句进行修改全库表为空格的数据,如果buffer不够自己添加buffer空间,或修改rownum的值

 ###版权-----found2008 ------邮箱:hiho1128@126.com

 

### Oracle 数据迁移到 Apache Doris 的方法和工具 #### 1. 数据类型映射与转换 由于 Oracle 和 Apache Doris 支持的数据类型存在差异,特别是对于复杂的 Oracle 类型如 BLOB 和 CLOB,这些类型需要特别处理。为了确保数据的一致性和完整性,在迁移过程中应定义明确的数据类型映射规则[^1]。 ```sql -- 示例:创建表结构时进行数据类型转换 CREATE TABLE IF NOT EXISTS doris_table ( id BIGINT, name VARCHAR(255), description TEXT -- 对应于 Oracle 中的 CLOB 类型 ); ``` #### 2. 增量数据捕获 (CDC) 针对增量数据同步的需求,可以利用 Oracle 提供的日志解析技术如 LogMiner 或第三方工具 GoldenGate 来捕捉变化后的记录,并将其传输给目标端——即 Apache Doris。这种方式能够有效减少全量导出带来的资源消耗和时间成本。 #### 3. 使用 ETL 工具 ETL(Extract, Transform, Load)工具是实现跨平台间大规模数据转移的理想选择之一。例如 Talend、Informatica PowerCenter 等商业产品都提供了良好的图形化界面来简化操作流程;而对于开源爱好者来说,则可以选择 Apache NiFi 或 DataX 这样的项目来进行定制开发[^2]。 #### 4. 批量加载优化 当面对海量历史存量数据时,建议采取分批次的方式逐步完成导入工作。通过调整批大小参数以及并行度设置,可以在不影响生产环境正常运行的前提下加快整个过程的速度。此外,还可以考虑预先对原始表格做水平分区拆解后再分别执行写入命令以进一步提高吞吐率。 #### 5. 主键及索引重建 考虑到两套系统的内部机制有所不同,在最终确认所有字段均已成功复制之后应当重新审视现有的约束条件并适当添加必要的辅助索引来保障查询性能不受影响。如果原生主键无法直接沿用的话,则推荐引入自增列作为替代方案[^3]。 ```sql -- 创建带有自增 ID 的新表 CREATE TABLE new_doris_table ( auto_id SERIAL PRIMARY KEY, original_id BIGINT UNIQUE, ... ); -- 插入旧表数据的同时生成新的唯一标识符 INSERT INTO new_doris_table(original_id,...) SELECT * FROM old_oracle_table; ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值