打造次世代分析型数据库（八）：高效数据导入导出方案

原创 已于 2023-05-22 11:17:21 修改 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #服务器 #运维

于 2022-11-10 18:31:00 首次发布
本文介绍了腾讯云数据库工程师苏翠翠关于CDWPG数据库并行导入导出的优化方案，主要涉及TDX服务的部署和使用。TDX通过在外表实现多DN并行导入，提升数据处理效率，避免了原生COPY方式的串行瓶颈。文章详细阐述了TDX服务的安装、配置、启动，以及外部表的创建和数据的导入导出过程，展示了数据导入的执行计划，强调了DN的并行处理能力。

bc849bf98af987bfb03f8a558bb5a4d6.gif

作者介绍

ceciliasu（苏翠翠），腾讯云数据库工程师，加入腾讯以来持续从事分布式数据库内核研发工作，曾负责TDSQL PG版、CDW PG快速扩容能力设计和研发。目前主要参与CDW PG数据库内核研发相关工作，负责外部数据快速导入工具的设计和研发。

原生数据导入导出方式以及存在的问题

使用原生COPY导入数据相当耗时，这是因为在CN上执行COPY导入数据是一个串行执行的过程，所有数据都需要经过CN处理分发给不同DN入库，所以CN是瓶颈，它只适合小数据量的导入。

1d39fda1fb5ee858c02519c18450d430.png

图表 1 COPY数据流向示意图

TDX提出了一种基于外表实现多DN并行导入数据的方式，将数据的处理和写入直接下推到DN执行，使DN直连数据源，充分利用分布式数据库的多节点优势，最大化数据库的计算能力。

a6d1cef718f5b61f567a245befad31f6.png

图表 2 TDX数据流向示意图

从零开始 - TDX使用实践

并行文件分发组件TDX服务部署

支持CDW PG并行导入导出的第一步便是在数据服务器上部署CDW PG并行文件分发组件-TDX服务。数据服务器是指数据源文件所在的机器，数据服务器上是否分布有数据库结点无要求。

联系CDW PG团队人员获取TDX服务rpm包；

CDW PG_tdx-1.0-i.x86_64.rpm

基础依赖安装：

yum install apr-devel.x86_64  
yum install libevent-devel.x86_64

‍软件

最低0.47元/天 解锁文章
EasyExcel高效工具类：简化Excel导入导出，支持多Sheet与枚举转换
y_wu794的博客
08-06 1773
本文详细介绍基于EasyExcel的高效Excel处理工具类，提供单Sheet/多Sheet导入导出、枚举类型自动转换等核心功能。通过简洁的API设计，开发者可轻松实现复杂Excel操作，大幅提升开发效率
打造次世代分析型数据库（六）：如何从零实现向量化引擎
cloudbigdata的博客
09-16 2066
作者介绍josehu（胡翔），腾讯云数据库高级工程师，具有多年分布式数据库内核研发经验，主要负责和参与过高可用、数据导入导出、索引等相关模块的设计和开发。博士毕业于中国科学院软件研究所，加入腾讯后主要负责CDW PG数据库向量化执行引擎等相关特性的设计和开发工作。1. 什么是向量化执行向量化是指计算从一次对一个值进行运算转换为一次对一组值进行运算的过程。1.1 从CPU角度看现代 CPU 支持将单...
通用的数据导入方案一
sunlang的博客
06-23 616
一，导入策略为新增和变化的表的数据的导入 1.1，es的数据导入 import com.mingzhi.IDate import com.mingzhi.es.wfs_order_list_index.process import com.mingzhi.utils.SparkUtils import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} import org.elasticsearch.spark.sql.EsSparkSQ
数据导入导出功能的设计
学海无涯，行者无疆
01-09 3543
数据导入导出是应用系统常见需求，而excel是最重要的辅助工具，特别是数据导入。数据导出场景excel用的也相对最多，其他导出格式，如word、pdf，通常用于线下打印或电子传递，用报表工具处理更合适。 java领域操作excel组件库主要是EasyPoi，功能比较齐备，但是用起来比较麻烦，需要额外做一些定制化开发工作，并且据说存在若干BUG以及性能问题。 阿里在EasyPoi基础上做了二次封装和优化，使用起来更方便。 EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节
基于Oracle的大数据导入方案探索
weixin_33727510的博客
12-23 176
数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服务平台的项目开发中，我需要设计一个能快速将40多万条数据导入Oracle数据库的方案，为了实现导入的高效，我通过在网上收集资料以及动手实践测试，得出了一些分析总结与大家分享探讨。 谈到数据导入功能的实现，无可厚非应该包括两个过...
数据导出流程设计
hp961218的博客
04-14 4453
导出流程设计
打造次世代分析型数据库（一）：CDW PG全面升级
cloudbigdata的博客
07-29 956
作者介绍ericxwu（伍鑫），腾讯云数据库专家工程师，在数据库内核、数据复制、大数据计算等领域有丰富经验，曾发表多篇相关论文、专利。加入腾讯前曾在IBM DB2团队工作多年，后加入Hashdata云数仓公司。加入腾讯后，负责TDSQL PG系数据库研发工作。CDW PG总体介绍CDW PG作为腾讯首款自研MPP分析型数据库，在政务、公安、电信、金融等多个企业级项目中崭露...
时空动态格局分析突破：扩展Programita处理多年观测数据的4种模式
![时空动态格局分析突破：扩展Programita处理多年观测数据的4种模式]...时空动态格局分析在生态学研究中面临数据多时相整合与软件功能局限的
【通用读卡器多卡管理技巧】：高效管理存储卡的方法
本文系统性地综述了通用读卡器技术，并详细探讨了多卡管理的基础和高级概念、实践方法、软件解决方案以及高级应用案例。文中首先对多卡管理的必要性进行了分析，并介绍了不同存储卡的种类和特性以及多卡管理面临的...
数据库数据导入导出
qq_40051434的博客
01-20 362
数据库导入数据 连接数据库–>mysql -u用户名 -p; 输入密码； 创建数据库–>create database 数据库名； 使用数据库–>use 数据库名； 导入数据–>source sql文件； 数据库到出数据 （不需要连接到数据终端） mysqldump 数据库名> /opt/webapp/mydb1.sql -u root -p 输入密码 （/opt/...
mysql数据库大数据量导入导出多种方法
01-14
mysql数据库大数据量导入导出多种方法，该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法
POI报表及百万数据导入导出方案
qqxhb 资源共享
08-13 973
1、POI报表的概述 1.1 需求说明 在企业级应用开发中，Excel报表是一种最常见的报表需求。Excel报表开发一般分为两种形式：为了方便操作，基于Excel的报表批量上传数据；通过java代码生成Excel报表。 1.2 Excel的两种形式 目前世面上的Excel分为两个大的版本Excel2003和Excel2007及以上两个版本，两者之间的区别如下： Excel2003是一个特有的二进...
异步导入导出架构设计
架构文摘
04-27 3846
为什么要用异步？在我们平时的业务系统中，文件导入，文件导出是一个很常见的业务需求。正常情况下，同步导出就可以满足我们80%的需求。但是对于数据量大，业务拼接复杂的系统来说...
数据库导入导出详解
彷徨的博客
11-30 9700
Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种，适合小数据量导入导出。Pde格式：.pde格式的文件，.pde为PL/SQL Developer自有的文件格式，只能用PL/SQL Developer工具导入导出，不能用文本编辑器查看；优点：代码书写简单易，从本地即可直接导入，不用在服务器中操作，降低难度，减少服务器上的操作也就保证了服务器上数据文件的安全性。导出步骤：工具，导出表，选好表以后，下方有Oracle导出是对应的dmp文件，SQL插入是对应的SQL文件。
通用的数据导入方案二
sunlang的博客
06-23 305
增量数据的导入 es数据源的导入 import com.mingzhi.utils.{SparkUtils, TableUtils} import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} import org.elasticsearch.spark.sql.EsSparkSQL /** * 导新增 * 如工单轨迹表 wfs_order_track_index */ object load_new_from_es {
通用的数据导入方案三
sunlang的博客
06-23 368
三，导入策略为全量的数据导入 3.1 数据源为mysql的导入 import com.mingzhi.interf.IDate import com.mingzhi.utils.SparkUtils import org.apache.spark.sql.{SaveMode, SparkSession} /** * 全量导入 * 一些配置表，如tbworkorder_config_detail * 参数： * 192.168.0.201 paascloud_wfs tbworkorder_c
高效Excel批量导入导出技巧详解
最新发布
weixin_35706067的博客
07-24 1342
有时默认的分隔符无法准确地处理数据导入，因此自定义分隔符变得必要。如上所述，在”文本导入向导”中，你可以指定一个或多个字符作为字段分隔符。当选择多个分隔符时，Excel会优先考虑列表中最左侧的分隔符。自定义分隔符的一个典型场景是当数据列中既包含逗号也包含空格时，你可以指定” ,”作为分隔符来确保数据的正确分割。
数据的导入导出
BL1309639668的博客
03-28 3514
数据的导入与导出 首先是数据导出，数据导出的编程比导入简单且不复杂，第一步先创建工作簿，创建工作簿还需要创建工作表，然后就是设置表标题、创建行、创建单元格、单元格设置值、合并单元格、设置单元格样式，创建行时要注意：行高 HeightInPoints的单位是点，而Height的单位是1/20个点，所以Height的值永远是HeightInPoints的20倍，之后就是设置表头了，设置表头要创建一行索引，给sheet添加第一行的头部标题，再设置行高，创建单元格并设置值然后再创建表头的样式，后面的步骤是：遍历查询
导入数据的几种方法
weixin_43912853的博客
11-03 1079
采用标准python类库导入数据 #读取文件 from csv import reader import numpy as np filename = 'pima.csv' with open(filename, 'rt') as raw_data: readers = reader(raw_data, delimiter=',') x = list(readers) #把数组中的数字转换成float类型（如果有非数字，就不能转换） data = np.array(x).as
Qt高效数据导入导出与打印解决方案
本文所介绍的“Qt数据导入导出及打印：高效处理Excel、PDF与打印任务的全面解决方案”是一项针对现代C++开发中高频需求——数据持久化与输出展示——而设计的综合性技术框架。该方案基于Qt这一跨平台C++图形用户界面...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值