大数据ETL实践探索（1）---- python 与oracle数据库导入导出

最新推荐文章于 2022-05-05 15:39:23 发布
最新推荐文章于 2022-05-05 15:39:23 发布
阅读量4.1k 收藏 17
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 文章标签： 大数据 oracle 数据库 ETL python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/84901207

文章大纲

大数据ETL 系列文章简介

本系列文章主要针对ETL大数据处理这一典型场景，基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的数据导入导出实战，如：

  • oracle使用数据泵impdp进行导入操作。
  • aws使用awscli进行上传下载操作。
  • 本地文件上传至aws es
  • spark dataframe录入ElasticSearch

等典型数据ETL功能的探索。

系列文章：
1.大数据ETL实践探索（1）---- python 与oracle数据库导入导出
2.大数据ETL实践探索（2）---- python 与aws 交互
3.大数据ETL实践探索（3）---- pyspark 之大数据ETL利器
4.大数据ETL实践探索（4）---- 之 搜索神器elastic search

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据ETL实践探索（4）---- 搜索神器Elastic search
shiter编写程序的艺术
12-09 3046
3.本地文件导入aws elastic search 修改访问策略，设置本地电脑的公网ip，这个经常会变化，每次使用时候需要设置一下 安装anancota https://www.anaconda.com/download/ 初始化环境，win10下打开Anaconda Prompt 的命令行 conda create -n elasticsearch python=3.6 source a...
大数据ETL工具比较：Sqoop vs Flume vs Kafka
最新发布
AI天才研究院
04-22 1285
随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；
Python写的Oracle数据库数据导入导出建表
06-29
用Python写的Oracle数据库配置链接源码，实现数据导入导出，并新建表。数据库链接配置如IP/port/database/username/pwd等信息自行填写。
python 实现Oracle /Mysql ETl 导入greenplum 数据库。
02-28
python 实现Oracle /Mysql ETl 导入greenplum 数据库。
python 实现ETL处理 架构
09-28
python 实现ETL 处理 架构 1.可以处理数据装载的过程 2.实现SQL执行的函数封装 3.实现数据加工的模板
python etl oracle导出 1
驽马不舍
01-08 1372
python elt oracle 导出
Python操作Oracle数据库&导出数据到EXCEL
qq_37769032的博客
05-05 4456
Python操作Oracle数据库
大数据处理实践探索（3）---- 大数据ETL利器之pyspark
shiter编写程序的艺术
12-09 2821
5.spark dataframe 数据导入Elasticsearch 5.1 dataframe 及环境初始化 初始化， spark 第三方网站下载包：elasticsearch-spark-20_2.11-6.1.1.jar http://spark.apache.org/third-party-projects.html import sys import os print(os.getcw...
大数据处理实践探索（7）---- 使用python 进行oracle 全库数据描述性及探索性逆向分析
shiter编写程序的艺术
06-02 1839
想象如下一个场景，一个合作伙伴想让你分析一下自己的业务数据，比较慷慨的给出了数据全库。但是对方的IT 人员没有精力去协助我们逐个了解数据怎么办呢，这时候就需要进行一些针对数据库的探索性、描述性的数据分析 帮我们更好的了解对方的数据内涵了。 下面就以Oracle 为例，使用python 进行全库数据描述性及探索性逆向分析。
python导出结果_Python连接Oracle数据查询导出结果
weixin_39712821的博客
11-25 770
python连接oracle，需用用到模块cx_oracle，可以直接pip安装，如网络不好，可下载离线后本地安装本人由于工作需要，期望便捷查询所得结果，且固定输出某个格式具体代码如下：#! coding:utf-8import cx_Oracleconn = cx_Oracle.connect('username/password@IP/连接名')cur = conn.cursor()cur.e...
使用python将大量数据导出到Excel中的小技巧分享
09-20
今天小编就为大家分享一篇使用python将大量数据导出到Excel中的小技巧心得，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python-OracleDB-:用于连接oracle数据库并运行记录计数查询以检查ETL作业中接收到的卷的Python脚本
04-03
Python数据库 用于连接oracle数据库并运行记录计数查询的Python脚本，以检查ETL作业中收到的卷。 前提条件： 表创建-pip install pandas Oracle Db连接-pip install cx_Oracle发送邮件-pip install pypiwin32 细节 ： volume-check.py文件使用凭据与Orcale数据库建立连接，然后执行查询以获取数据库表中的记录数。 然后将获得的体积计数作为电子邮件共享给接收方，并带有基线体积和“高/低”状态指示。 邮件使用带有pandas库的表格进行格式化。
Python实现Oracle数据库同步
11-20
Python实现两个Oracle数据库同步工作
Python导入oracle数据的方法
12-25
本文实例讲述了Python导入oracle数据的方法。分享给大家供大家参考。具体如下： import cx_Oracle dns_tns=cx_Oracle.makedsn("192.168.0.288",1521,"skynet") print dns_tns con = cx_Oracle.connect('alibaba', 'zhimakamen', dns_tns) cur=con.cursor() for index,line in enumerate(file("f2.csv")): sql="""insert into iq_data_B011F8286A1B2000A
oracle数据同步到Greenplum的python脚本
08-31
1、脚本运行环境python3.6 2、脚本忽略LOB字段数据 3、脚本生成以^为分割符的csv格式文件 4、脚本避免转义字符将‘\’替换为‘/’,数据中存在分割符：^转换为# 5、特殊字符处理：删除：'\u0000'，'"',oracle数据回车符：'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件，方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同配置文件，多次执行达到并行处理（注意内存溢出） 例： 执行脚本 生成日志目录 配置文件 python3 Main_Mem.py ProcessLog1 config1.ini & python3 Main_Mem.py ProcessLog2 config2.ini & python3 Main_Mem.py ProcessLog3 config3.ini & python3 Main_Mem.py ProcessLog4 config4.ini & 10、采用python 中的copy_from方法实现导入greenplum 11、各目录用途： conf ：存放配置文件 etl_dat： 存放导出数据 log ：存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回方法 DumpCsv:导出csv文件方法 Log:日志输出方法 DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main：主程序目录： Main_Mem.py：主程序目录： 运行：python3 Main_Mem.py ProcessLog1 config.ini 12、主程序需要修改目录参数： if __name__ == '__main__': #引用编写的包 sys.path.append('/home/oracle/PyETL2.0/py_tool') import Log,DataBase,DumpCsv #输出日志路径： path = '/home/oracle/PyETL2.0/log/'+sys.argv[1] isExists = os.path.exists(path) if not isExists: os.makedirs(path) #shutil.move(path,path+) logger = Log.log(path) #读取配置文件 config = Confile('/home/oracle/PyETL2.0/conf/', sys.argv[2]) 13、后期还会更新，欢迎提供宝贵意见。
python实现数据仓库ETL
云中寻雾的博客
06-01 6390
通常讲的数据仓库ETL, 可以分为ETL和ELT两种实现方式. ELT是在加载到仓库后, 再做数据转换. ETL 是在加载之前完成转换, 落地的数据就是转换后的样子了. ELT多使用在MPP架构的数据仓库平台上, 比如Teradata, greenplum, 主要考虑点是, MPP数据仓库数据处理能力强, 在加载后再做转换, 可以充分利用这一优势. 另外, Extract和Load过程很简单, 且数据仓库厂商提供unloading/loading的命令行工具一般具有并行处理能力, 所以直接用这...
python实现Oracle/Mysql ETL 导入greenplum 使用说明
tworain
02-28 1026
一、配置文件 ：config 参数说明： [Path] #脚本解压目录 Path = /home/kettle/PyETL/ [Url] #源URL：支持Oracle / Msql #Oracle 源 SrcUrl = {'dbtype':'oracle','user': '用户名','passwd': '密码', 'tns': 'ip:1521/server_name', 'encoding': 'utf-8'} #mysql源 #SrcUrl = {'dbtype':'mysql','us
python获取Oracle数据，并根据获取信息请求下载图片
qq_38118903的博客
03-25 1992
本文Python脚本实现的功能： 1. 循环表格列，根据表格中的某列值对应的相关信息； 2. 使用 cx_Oracle 连接 Oracle 数据库，获取要请求的信息； 3. 使用 urllib3 发送请求图片； 4. 将请求的图片保存到本地； 1. 引入所需模块 import xlrd import urllib3 import os import cx_Oracle 2. 连接Oracle数据库 con = cx_Oracle.connect('Username/Password@.
python etl_common_python通用数据库操作和ETL工具使用讲解
weixin_28981373的博客
02-09 479
由于python的数据库操作有各种样的第三方库，相互之间使用都会有点差别(比如sql占位符就有'',':','%s'等，该工具的通配符都是":"标准)，导致代码在切换数据库时也需要相应改动，应此自己封装了一个通用的库可以用python调用各种类型的数据库并且进一步简化了数据库操作步骤，并且可以自定义扩展Installation:pip install py_db下面都以python内置的sqlit...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值