ods数据导入mysql

最新推荐文章于 2024-02-06 17:51:19 发布
原创 最新推荐文章于 2024-02-06 17:51:19 发布 · 2.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ods mysql

本文介绍了如何将ods格式的数据导入mysql，首先尝试通过Java操作openoffice库读取ods并填充JavaBean，但由于构造方法参数问题未能实现。后来发现phpmyadmin能直接导入ods，节省了大量时间。同时，对于mdb数据，先转换为csv再导入，但遇到文件大小限制，通过调整php.ini解决了问题。最后发现mdb-export生成的sql文件中每个记录都是独立的insert语句，改为批处理方式显著提高了导入效率。

    之前记录了mdb格式中的数据如何导出，这次是ods格式。

    为了导出数据，还专门查阅了用Java操作openoffice的相关库，并做了简单的测试，确实很方便就能读取到ods中表的内容。但是，读取出来以后如何放到针对mysql数据表的JavaBean中还是个问题。首先的思路是写一个一劳永逸的通用方法，使用具体JavaBean作为参数，在方法内获取ods的数据后，利用反射机制得到JavaBean的构造方法，然后把数据填进去，最后传个List<JavaBean>出来。结果还是Java功力不够深厚，未能实现。最大的阻碍在于每一个JavaBean的构造需要不同的参数，反射获取构造方法时还需要指定参数列表才能得到相应的构造方法。想到一个解决方法：把参数列表也作为参数，与JavaBean一起传到通用方法中；不过这样就整的太复杂了，倒个百十来条的数据，何必呢。

    本着“做懒人”的原则，看到了phpmyadmin能把csv导入到mysql中，而ods能够直接导出csv，于是果断奔向了phpmyadmin。安装以后，直接导入。在导入选项里多看了两眼，支持的格式包括：csv、sql、xml，还有...居然还有openoffice表格，这次真是冤了。果断直接选择openoffice导入，一秒，二秒...页面华丽丽的一刷，数据全部导入。果然以后还是要更懒一点...

    想到之前mdb转出的sql导入mysql时间太长，干脆把mdb转出csv试试吧。没想到这部分数据过大，其实也就20M，但是phpmyadmin提示文件超限，并给出了参考文档的链接：http://localhost/phpmyadmin/Documentation.html#faq1_16，看了一下，原来是php本身在网络上传文件时做了限制，需要修改php.ini。按照文档修改完成以后就可以上传了。心想这次应该没有问题了，点“执行”，页面刷出了一片空白...重复了几次都不行，看了这个已然超出phpmyadmin的能力范围了。

    没办法，刚才一激动已经把mdb转出的那张表删除了，重新倒吧，一想到那么长时间就郁闷。想想应该

最低0.47元/天 解锁文章
Pandas数据导入和导出：CSV、Excel、MySQL、JSON
小龙在线
10-26 1302
【代码】Pandas数据导入和导出：CSV、Excel、MySQL SQL。
【项目实战】ODS 层创建&数据接入
pengpengsays
09-22 2147
操作说明 此时已经将数据从 MySQL 中导入到 HDFS 中了，接下来就需要将数据导入到数据仓库的 ODS 层中，完成原始数据的存储。 这个部分分为两个阶段，首先在 Hive 中创建 ODS 层的所有表结构，表结构与源系统（MySQL）一致。之后，使用脚本将 HDFS 中存储的数据导入到 Hive 数据仓库的 ODS 层中。 ODS 层创建 1. 进入 Hive 安装节点（Node03），启动 ...
数仓ods层数据导入
weixin_42325189的博客
06-24 1028
数仓数据导入时，lzo压缩【中间表导入数据】表数据解析失败，应该是linux server内存，cpu，磁盘，不足造成的，切分文件，或者增大内存，磁盘， 切分文件，split -l，
mysql到ods层命名,数据引入层（ODS）
weixin_28972665的博客
03-23 407
CREATE TABLE IF NOT EXISTS s_auction(id STRING COMMENT '商品ID',title STRING COMMENT '商品名称',gmt_modified STRING COMMENT '商品最后修改日期',...
离线数仓（9）：ODS层实现之导入业务数据
yang_shibiao的博客
09-01 2933
保持数据原貌不做任何修改，起到备份数据的作用数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）创建分区表，防止后续的全表扫描将业务数据写入到数仓中，并每天进行一个全量快照备份（其实可以只备份新增和变化的数据，但我们根据实际业务情况和其他各方面等考虑，进行了全量快照备份，并且如果进行全量快照备份的话，保留180天数据完全足够）
将本地mysql数据库表格导入到odps
tony286186的专栏
12-26 2420
将本地mysql数据库表格导入到odps大数据计算服务项目中 将本地mysql数据库表格导入到odps大数据计算服务项目中 一、工具下载以及部署 方法一、直接下载DataX工具包(如果仅是使用，推荐直接下载)： 1.1. 下载DataX :   wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.
python数据处理到进入mysql的ods层
Moonset1995的博客
05-07 772
这是一个简单的python处理excel文件入库的项目。主要是为了处理整合一大堆excel到数据库里面，方便后续的数据处理和可视化。（代码能力有限~还希望大家多多指教，希望能得到大佬们的指点） ps：下面的过程只做主要流程的代码说明，具体的数据处理细节就不多写啦，就是pandas的各种用法。 1. 数据链路（数据流转过程） 从excel经过python处理后进入数据库etl层（同时处理完的exce...
ods层如何保证和Mysql镜像一致
m0_70949976的博客
03-08 447
ods层合并逻辑保持和mysql端一致的方法，以及一些注意事项与相关问题
【Spark数仓项目】需求一：项目用户数据生成-ODS层导入-DWD层初步构建
qq_31412425的博客
06-26 1246
本项目使用一台虚拟机，主机名Hadoop10，CentOS7系统。虚拟机服务器jdk选用1.8，包括完整生态的hadoop spark；本地主机为win11，scala2.12.17，在idea集成环境中编写。
使用navicat导出mysql离线数据后，再导入doris的方案
austin1000的博客
02-06 2539
doris本身是支持直接从mysql中同步数据的，但有时候，客户不允许我们使用doris直连mysql，此时就需要客户配合将mysql中的数据手工导出成离线文件，我们再导入到doris中。本文探究了insert into、csv和json三种格式的方案。
java读写excel源码-pyexcel:用于在csv、ods、xls、xlsx和xlsm文件中读取、操作和写入数据的单一API
06-11
java读写excel源码pyexcel - 让你专注于数据，而不是文件格式 支持项目 如果贵公司已将 pyexcel 及其组件嵌入到创收产品中，请在 github 上支持我，或维护该项目并进一步开发。 如果您是个人，也欢迎您支持我，无论您喜欢多久。 作为我的支持者，您将获得 . 如果您想成为我的 patreon pyexcel pro 用户，您的问题将得到优先考虑。 有了您的经济支持，我将能够在编码、文档和撰写有趣的帖子方面投入更多时间。 已知约束 不支持字体、颜色和图表。 也不要读取受密码保护的 xls、xlsx 和 ods 文件。 介绍 功能亮点 支持的文件格式列表 文件格式 定义 文件 逗号分隔值 tsv 制表符分隔值 csvz 一个包含一个或多个 csv 文件的 zip 文件 知乎 一个包含一个或多个 tsv 文件的 zip 文件 xls 由 MS-Excel 97-2003 创建的电子表格文件格式 xlsx Office Open XML SpreadsheetML 文件格式的 MS-Excel 扩展。 xlsm 一个 MS-Excel 启用宏的工作簿文件 ods 打开文档
一种基于Java的ODS与Excel数据交换方法
07-21
一种基于Java的ODS与Excel数据交换方法;一种基于Java的ODS与Excel数据交换方法.
如何读写ODF / ODS文件（OpenDocument电子表格）
04-08
本文将介绍ODF格式的基础知识，尤其是其在电子表格应用程序（OpenOffice.org Calc和Microsoft Office Excel 2007 SP2）中的实现。 演示了一个演示应用程序，该应用程序可向.ods文件中写入表格数据或从中读取表格数据。
Java将Excel转换为ODS
m0_68346044的博客
10-17 538
ODS（OpenDocument Spreadsheet）是一种基于XML的文件格式，可以使用OpenOffice.org的Calc组件打开和建立。与MS Excel文件类似，ODS文件将数据存储在组织成行和列的单元格中，并可以包含文本、数学函数、格式化等内容。有时，你可能需要将一个Excel文件转换为ODS文件，以确保该文件能被不同操作系统中的更多应用程序查看
离线数仓搭建_09_ODS层数据导入
勇敢牛牛，不怕困难！
09-21 1285
本文为数仓搭建的第一层，即为ODS原始数据层，主要是将原始数据导入到hive中。
数据中台数据分层架构
qq_40822132的博客
01-18 3275
数据中台数据分层架构
浅谈 数仓建设之 数据同步（离线）及 sqoop、flume、dataX 原理简介
samur2的博客
02-23 5517
简介 在数仓建设中，数据同步是最基础的一步，也是 ods 层数据的来源。数据同步 简而言之，就是把 业务库中的需要分析的数据表（或文件） 同步到 数仓中（hdfs）。 同步的方式可以分为3种：直连同步、数据文件同步、数据库日志解析同步。 下面将进行详细介绍。 详解 1、直连同步 直连同步是指通过定义好的规范接口api 和动态链接库的方式直连业务库。 优点：配置简单，实现容易，比较适合操作型业务系统的数据同步。 缺点：1、直连的方式对源系统的性能影响较大，甚至可能拖垮业务系统； 2、数据量很大时，性能很差
ods层-数据导入(hive)示例
S1124654的博客
06-21 744
hdfs文件装载到ods（hive）层
Mysql导入数据至Hive中
最新发布
04-13
### 数据迁移方法 #### 方法一：使用 Sqoop 实现 MySQL 到 Hive 的数据导入 通过 Sqoop 工具可以方便地将 MySQL 中的数据迁移到 Hive。其核心原理是先将数据从 MySQL 导入到 HDFS，然后再由 Hive 加载这些数据[^1]。 以下是基本命令结构： ```bash sqoop import \ --connect jdbc:mysql://<host>:<port>/<database> \ --username <username> \ --password <password> \ --table <table_name> \ --target-dir /path/to/hdfs/directory \ --hive-import \ --hive-database <hive_database_name> \ --hive-table <hive_table_name> ``` 此过程需要注意的是，在执行过程中可能会遇到依赖冲突等问题。例如，如果 Sqoop 缺少某些必要的库文件，则可能导致任务失败。一种常见的解决办法是将 Hive 所需的 jar 文件复制到 Sqoop 的 lib 目录下[^3]。 --- #### 方法二：批量导入多个表并处理异常情况 当需要一次性导入多个表时，可以通过编写 Shell 脚本来完成自动化操作。下面是一个典型的脚本示例： ```bash #!/bin/bash while read line do sqoop import \ --driver com.mysql.cj.jdbc.Driver \ --connect jdbc:mysql://<host>:<port>/<database>?characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull \ --username <username> \ --password <password> \ --table "$line" \ --num-mappers 1 \ --hive-import \ --fields-terminated-by ',' \ --hive-overwrite \ --hive-database <hive_db_name> \ --hive-table ods_"$line" \ --null-non-string '\\N' \ --null-string '\\N' done < table_list_file.txt ``` 上述脚本能够逐行读取 `table_list_file.txt` 文件中的表名，并依次调用 Sqoop 命令将其导入到指定的 Hive 表中[^2]。 --- #### 注意事项 1. **字段分隔符设置** 如果 MySQL 和 Hive 的字段分隔方式不同，可以在 Sqoop 命令中通过参数 `--fields-terminated-by` 进行调整。 2. **空值处理** 对于非字符串类型的 NULL 值，默认情况下可能无法正确解析。因此建议显式定义 `--null-non-string` 和 `--null-string` 参数来统一表示 NULL 值。 3. **权限管理** 确保运行 Sqoop 的用户具有足够的权限访问目标目录以及源数据库资源。 --- ### 总结 无论是单次还是批量导入场景，都可以借助 Sqoop 完成高效的数据迁移工作。同时针对可能出现的各种兼容性问题，提前做好环境配置和错误排查准备是非常重要的。 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值