运行Sqoop任务的通用脚本Python实现(待优化)

Hive + Sqoop 数据搬运实战:手把手教你将省市订单分析结果同步到MySQL 本文详细介绍了如何使用Hive和Sqoop构建高效的数据管道,将省市订单分析结果从Hive同步到MySQL。涵盖Hive SQL优化技巧、Sqoop export参数解析及常见问题排查,帮助开发者实现大数据分析与业务数据库的无缝对接,提升数据搬运效率。 阅读详情

本想用Bash?结果被Shell的正则表达式恶心到了!还是Python好

思想

把【配置、sqoop、mysql】三者分离

Python2

mysql_to_hdfs.py

用法:把一大堆SQL写进_queries,SQL之间用双换行分隔,日期用{ymd}
注意:SQL的日期要用双引号,SQL注释要顶格

#!/usr/bin/python2
"""
Usage
    mysql_to_hdfs.py [ymd]
e.g.
    mysql_to_hdfs.py
    mysql_to_hdfs.py 2021-01-01
"""
import os, sys, datetime, re

# constant
IP_ADDR = 'hadoop100'
BASENAME = 'b0'
USERNAME = 'root'
PASSWORD = '123456'
HDFS = '/h0/%s' % BASENAME
QUEUE_NAME = ''
JOB_NAME = ''

# yesterday
yesterday = datetime.date.today() - datetime.timedelta(days=1)

# command line parameters
a = sys.argv
if len(a) > 1:
    ymd = datetime.datetime.strptime(a[1], '%Y-%m-%d').strftime('%Y-%m-%d')
else:
    ymd = yesterday.strftime('%Y-%m-%d')


def os_system(s):
    if os.name == 'posix':
        os.system(' '.join(s.split()))
    else:
        print(' '.join(s.split()))


def remove_mysql_comments(mysql):
    mysql = re.sub('^#.+', '', mysql)
    mysql = re.sub('^-- .+', '', mysql)
    mysql = re.sub(r'^/\*[\s\S]*\*/', '', mysql)
    return ' '.join(mysql.split('\n'))


def get_tb_from_sql(query):
    tb = re.findall(r'FROM\s+([a-z_0-9]+)\s+', query, re.I)
    return tb[0]


def sqoop_import(query):
    query = remove_mysql_comments(query)
    tb_name = get_tb_from_sql(query)
    hdfs = '%s/%s/%s' % (HDFS, tb_name, ymd)
    return r'''
    sqoop import
    -D mapred.job.queue.name={queue_name}
    -D mapred.job.name={job_name}
    --connect jdbc:mysql://{ip_addr}:3306/{basename}
    --username {username} --password {password}
    --delete-target-dir --target-dir {hdfs}
    --query '{query} AND $CONDITIONS'
    --null-string '\\N' --null-non-string '\\N'
    --num-mappers 1
    '''.format(
        queue_name=QUEUE_NAME,
        job_name=JOB_NAME,
        ip_addr=IP_ADDR,
        basename=BASENAME,
        username=USERNAME,
        password=PASSWORD,
        hdfs=hdfs,
        query=query,
    )


def sqoop_imports(queries):
    queries = re.split('\n{2,}', queries.strip())
    for query in queries:
        if 'WHERE' not in query:
            query += ' WHERE 1=1 '
        os_system(sqoop_import(query))


_queries = '''
#full
SELECT * FROM t1

-- append
SELECT * FROM t2 WHERE DATE_FORMAT(create_time,"%Y-%m-%d")="{ymd}"

/*
append
amend
*/
SELECT * FROM t3
WHERE (DATE_FORMAT(create_time,"%Y-%m-%d")="{ymd}"
OR DATE_FORMAT(update_time,"%Y-%m-%d")="{ymd}")
'''.format(ymd=ymd)
sqoop_imports(_queries)

ads_to_mysql.py

用法:把一大堆【表名和作为更新标识的列名】写进_lines,用换行分隔

#!/usr/bin/python2
import os

# constant
IP_ADDR = 'hadoop100'
BASENAME = 'b0'
USERNAME = 'root'
PASSWORD = '123456'
HDFS = '/%s/ads_' % BASENAME
QUEUE_NAME = ''
JOB_NAME = ''


def os_system(s):
    if os.name == 'posix':
        os.system(' '.join(s.split()))
    else:
        print(' '.join(s.split()))


def sqoop_export(tb_name, update_key=''):
    hdfs = HDFS + tb_name
    if update_key:
        update_key = '--update-mode allowinsert --update-key ' + update_key
    return r'''
    sqoop export
    -D mapred.job.queue.name={queue_name}
    -D mapred.job.name={job_name}
    --connect jdbc:mysql://{ip_addr}:3306/{basename}
    --username {username} --password {password}
    --export-dir {hdfs}
    --table {tb_name}
    {update_key}
    --input-null-string '\\N' --input-null-non-string '\\N'
    --num-mappers 1
    '''.format(
        queue_name=QUEUE_NAME,
        job_name=JOB_NAME,
        ip_addr=IP_ADDR,
        basename=BASENAME,
        username=USERNAME,
        password=PASSWORD,
        hdfs=hdfs,
        tb_name=tb_name,
        update_key=update_key
    )


def main(lines):
    for line in lines.strip().split('\n'):
        os_system(sqoop_export(*line.strip().split()))


_lines = '''
t1
t2 create_time
t3 create_time,update_time
'''
main(_lines)

待优化

开发、测试、生产 环境 自动切换

https://yellow520.blog.youkuaiyun.com/article/details/121105488

待添加的参数

Sqoop的底层运行任务是MR中Map,默认是4个MapTask
此时涉及到MapTask在YARN上的队列名和作业名

-D mapred.job.queue.name
-D mapred.job.name

待添加的模式

--hive-import

--hive-import和先import到HDFS再LOAD到HIVE有啥区别?
--hive-import更直接,代码更少,支持压缩,除此之外:更快?支持并行?支持列式存储?

安全问题

通常密码这种东西不应该明文写到脚本
优化方案:将密码等配置写入文件,并上传到HDFS,脚本通过读取配置来获取密码

执行问题

os.system出错后会继续执行,因此要使用subprocess.check_output


Python3

# coding:utf-8
from sys import argv
from datetime import date, timedelta
from subprocess import check_output


class Sqoop:
    def __init__(self, **kwargs):
        # 从命令行获取参数:https://blog.youkuaiyun.com/Yellow_python/article/details/122088401
        self.parameters = kwargs
        for a in argv[1:]:
            k, v = a.split('=', 1)
            self.parameters[k.strip()] = v.strip()

    @property
    def yesterday(self):
        yesterday = date.today() - timedelta(days=1)
        return yesterday.strftime('%Y-%m-%d')

    @property
    def ymd(self):
        """获取日期,格式YYYY-MM-DD,默认昨天"""
        return self.parameters.get('ymd', self.yesterday)

    @staticmethod
    def sqoop(cmd):
        print(cmd)
        return check_output(' '.join(cmd.split()), shell=True).strip()

    def sqoop_export(self, table, hdfs, columns, update_key):
        cmd = r'''
        sqoop export
        --connect jdbc:mysql://{host}:{port}/{database}
        --username {user} --password {password}
        --table {table}
        --num-mappers 1
        --input-fields-terminated-by '\t'
        --input-null-string '\\N' --input-null-non-string '\\N'
        --update-mode allowinsert
        --update-key {update_key}
        --columns {columns}
        --export-dir '{hdfs}'
        '''.format(
            host=self.parameters.get('host', 'localhost'),
            port=self.parameters.get('port', 3306),
            user=self.parameters.get('user', 'root'),
            password=self.parameters.get('password'),
            database=self.parameters.get('database'),
            hdfs=hdfs,
            table=table,
            columns=columns,
            update_key=update_key,
        )
        self.sqoop(cmd)


"""
DROP TABLE IF EXISTS `pv`;
CREATE TABLE `pv`(
  `ymd`    DATE PRIMARY KEY,
  `pv_1d`  INT  COMMENT 'page view',
  `pv_3d`  INT  COMMENT '近3天PV',
  `pv_7d`  INT  COMMENT '近7天PV',
  `uv_1d`  INT  COMMENT 'unique visitor',
  `uv_3d`  INT  COMMENT '近3天UV',
  `uv_7d`  INT  COMMENT '近7天UV'
) COMMENT '页面浏览';
"""
s = Sqoop(
    host='hadoop107',
    database='analy_ec',
    password='密码',
)
s.sqoop_export(
    table='pv',
    hdfs='hdfs://hadoop105:8020/user/hive/warehouse/ec.db/ads/pv',
    columns='ymd,pv_1d,pv_3d,pv_7d,uv_1d,uv_3d,uv_7d',
    update_key='ymd'
)
"""
Sqoop数据同步类
待完善参数:
    -D mapred.job.queue.name
    -D mapred.job.name
"""
from my_utils.shell import ParameterUtil


class Sqoop(ParameterUtil):
    def sqoop(self, cmd):
        # self.debug(cmd)
        return self.evaluate(' '.join(cmd.split()))

    def hive_import(self, hive_tb, query, partition_key='ymd', partition_value=None):
        return self.sqoop(r'''
        {sqoop} import
        --hive-import
        --hive-overwrite
        --null-string '\\N' --null-non-string '\\N'
        --num-mappers 1
        --hive-drop-import-delims
        --connect jdbc:mysql://{host}:{port}/{mysql_db}?serverTimezone=Asia/Shanghai
        --username '{mysql_user}'
        --password '{mysql_pwd}'
        --hive-database {hive_db}
        --hive-table {hive_tb}
        --hive-partition-key {partition_key}
        --hive-partition-value {partition_value}
        --query '{query} AND $CONDITIONS'
        --target-dir /temp/sqoop/{hive_db}/{hive_tb}
        --delete-target-dir
        --compress
        '''.format(
            sqoop=self.get('sqoop', 'sqoop'),
            host=self.get('host', 'localhost'),
            port=self.get('port', '3306'),
            mysql_db=self.parameters['mysql_db'],
            mysql_user=self.get('mysql_user', 'root'),
            mysql_pwd=self.parameters['mysql_pwd'],
            hive_db=self.parameters['hive_db'],
            hive_tb=hive_tb,
            partition_key=partition_key,
            partition_value=partition_value or self.ymd,
            query=query.replace("'", '"').format(ymd=self.ymd),
        ))

    def sqoop_import(self, mysql_tb, query):
        return self.sqoop(r'''
        {sqoop} import
        --connect jdbc:mysql://{host}:{port}/{mysql_db}
        --username '{mysql_user}'
        --password '{mysql_pwd}'
        --target-dir /temp/sqoop/{mysql_db}/{mysql_tb}
        --delete-target-dir
        --query '{query} AND $CONDITIONS'
        --null-string '\\N' --null-non-string '\\N'
        --num-mappers 1
        --compress
        '''.format(
            sqoop=self.get('sqoop', 'sqoop'),
            host=self.get('host', 'localhost'),
            port=self.get('port', '3306'),
            mysql_db=self.parameters['mysql_db'],
            mysql_user=self.get('mysql_user', 'root'),
            mysql_pwd=self.parameters['mysql_pwd'],
            mysql_tb=mysql_tb,
            query=query.replace("'", '"').format(ymd=self.ymd),
        ))

    def hive_export(self, export_dir, mysql_tb, columns, update_key='id'):
        return self.sqoop(r'''
        {sqoop} export
        --connect jdbc:mysql://{host}:{port}/{mysql_db}
        --username '{mysql_user}'
        --password '{mysql_pwd}'
        --table {mysql_tb}
        --num-mappers 1
        --input-fields-terminated-by '\t'
        --input-null-string '\\N'
        --input-null-non-string '\\N'
        --update-mode allowinsert
        --update-key {update_key}
        --columns {columns}
        --export-dir '{export_dir}'
        --staging-table 'sqoop_export_{mysql_tb}'
        --clear-staging-table
        '''.format(
            sqoop=self.get('sqoop', 'sqoop'),
            host=self.get('host', 'localhost'),
            port=self.get('port', '3306'),
            mysql_db=self.parameters['mysql_db'],
            mysql_user=self.get('mysql_user', 'root'),
            mysql_pwd=self.parameters['mysql_pwd'],
            mysql_tb=mysql_tb,
            columns=columns,
            update_key=update_key,
            export_dir=export_dir,
        ))
头歌Python沙箱环境运行机制深度解析 Python沙箱环境是云原生教学平台的核心基础设施,其本质是基于容器化与资源隔离的受限执行空间。原理上,它通过轻量级Kubernetes调度、定制化Python运行时镜像及JupyterLab前端封装实现三层强耦合架构,对内存、CPU、文件系统和网络策略施加硬性约束。技术价值在于模拟真实生产环境的弹性限制与安全边界,倒逼开发者建立资源意识与工程化思维。典型应用场景包括高校Python实训、大数据Hadoop实验、pandas数据处理及Python爬虫开发。本文聚焦头歌2024版沙箱,深入解析预装库版本锁定、 阅读详情

相关推荐

基于Sqoop的Hadoop与RDBMS数据迁移性能调优:深度实践与Python分析框架

在大数据生态系统中,Apache Sqoop作为Hadoop与关系型数据库之间的数据迁移桥梁,其性能直接影响着数据管道的效率和稳定性。本文从实战角度出发,系统性地探讨了Sqoop数据迁移的性能调优方法论,并结合Python构建了完整的性能监控与调优分析框架。文章涵盖Sqoop架构原理、参数调优策略、并行度设计、网络优化、数据库端调优以及完整的Python自动化调优工具链,提供超过5000字的详细技术解析与可运行代码示例。目录摘要第一章 引言:数据迁移的性能挑战1.1 企业数据迁移的场景与痛点。

2201_76125261的博客 228

Python通过Sqoop自动化装载Mysql数据到Hive

其他类似相关参考:Python自动化拉取Mysql数据并装载到Hive(V3.0)-->https://blog.csdn.net/BabyFish13/article/details/73885033Python自动化拉取Mysql数据并装载到Hive(V2.0)-->http://blog.csdn.net/babyfish13/article/details/70792158Py...

BabyFish13 3262

告别手动改代码!用SSC工具5分钟搞定EtherCAT从站动态模块配置(含Excel模板)

本文详细介绍了如何利用SSC工具和Excel模板实现EtherCAT从站动态模块配置的自动化流程。通过零代码修改的动态配置方案,大幅提升工业自动化产线的灵活性和效率,配置时间从平均4小时缩短至8分钟,错误率下降96%。文章包含Excel模板设计、实战演示和避坑指南,助力工程师快速掌握这一高效工具。

weixin_28339967的博客 574

Sqoop的简单使用案例

Sqoop的简单使用案例 导入数据 在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。 (1)RDBMS到HDFS (1)全部导入 $ bin/sqoop import \ --connect jdbc:mysql://bigdata112:3306/test \ --username root \ --password 000000 \ --table student \ --target-dir

qq_32783151的博客 266

Kaamel白皮书:IoT设备安全隐私评估实践

明确评估的目的和预期结果。

kaamelai的博客 1319

Realtek RTD1319D芯片解析:H.266与AV1双解码的机顶盒SoC

视频编解码技术是数字媒体传输的核心,H.266/VVC作为新一代标准,相比H.265提升50%压缩效率,显著降低带宽需求。其实现原理依赖于专用硬件解码器和并行处理架构,在超高清视频传输领域具有重要价值。Realtek RTD1319D作为首款商用H.266处理器,采用异构计算设计,集成四核ARM CPU和独立视频处理单元,同时支持AV1解码,兼顾市场兼容性。该SoC特别适合4K机顶盒、数字标牌等应用场景,其HDMI 2.1a接口和DVB解调器为超高清内容传输提供完整解决方案。开发时需注意散热设计和内存配置优

weixin_42591413的博客 673

Sqoop工具模块之sqoop-import

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33774615的博客 1036

QT串口通信控制LED上位机开发教程

串口通信是嵌入式系统与PC端交互的基础技术,通过UART协议实现设备间的数据传输。QT框架提供了跨平台的串口编程支持,结合其GUI模块可以快速开发上位机控制程序。在工业自动化和物联网领域,这种上下位机架构广泛应用于设备监控和控制场景。本案例展示了如何使用QT的SerialPort模块实现LED控制功能,包含串口参数配置、指令发送等核心功能实现,为嵌入式GUI开发提供实践参考。

weixin_42598278的博客 583

基于python爬虫,hadoop,mysql,hive,sqoop一个可以优化的项目

sqoop介绍。

m0_73905064的博客 686

AD在建PCB封装时如何添加元器件的3D模型

3D模型

k1ang的博客 1万+

第23章:代码迁移——用AI将Vue2迁移到Vue3、将JS迁移到TS

> - 用AI自动将Vue2 Options API转为Vue3 Composition API的完整流程 > - 将JavaScript项目批量迁移到TypeScript,自动添加类型推导 > - 处理依赖冲突、破坏性变更和迁移后的验证方法 > - 一个完整的Vue2到Vue3迁移案例(含路由、状态管理) > - 我如何用AI将公司一个10万行代码的老项目从JS升级到TS

sfishfly的博客 209

python 操作sqoop

用后台命令可以操作所有的操作,那为什么还要第三方包?函数封装?看看里边是不是 import os os.system("stop-all.sh") 连接Hive from pyhive import hive cursor=hive.connect("localhost").cursor() 错误显示 thrift.transport.TTransport.TTra...

weixin_40532625的博客 1818

深度学习在移动开发中的应用:实时姿态估计实战

我们将使用TensorFlow Lite框架,结合专为移动端优化的MoveNet模型,实现一个能够在主流Android设备上达到30FPS的多人姿态跟踪解决方案,并深入探讨其优化技巧和实际应用场景。特别是3D姿态估计、多人长期跟踪等前沿技术的发展,将进一步推动移动端姿态估计技术的应用深度和广度。在下一篇文章中,我们将探讨深度学习在移动端的另一个创新应用:实时手势识别,包括如何在资源受限的环境中实现复杂手势的实时识别,以及这项技术在AR/VR交互、智能家居控制等场景中的应用。第四部分:典型应用场景实现。

Programming Talk 325

Sqoop 自动化脚本与并发任务管理:提升大数据导入效率与可靠性

本文详细介绍如何通过自动化脚本实现多表并行导入,介绍并发任务管理策略,以及如何实现任务编排与状态监控,提高大数据导入效率和可靠性。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 471

TIM 2024 | AD-YOLO:一种结合 Swin Transformer 和注意力机制的实时 YOLO 网络用于机场场景检测

实时获取机场场景信息对于保障机场安全和提升机场运营效率至关重要。然而,机场场景图像中的人员和车辆目标尺寸较小,而且公开的机场数据不足,这使得机场物体检测成为一项颇具挑战的任务,难以同时实现高精度和实时检测。本文提出了一种全新的机场物体检测方法——机场检测器YOLO(AD - YOLO),它融合了改进的你只看一次(YOLO)算法、Swin Transformer和注意力机制的优势,以应对这一挑战。

小白学视觉 315

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

python代码实现datax、sqoop功能,用spark将hive数据导入导出到mysql

这种方法具有高效、灵活的特点,可以替代传统的数据迁移工具如 datax 和 sqoop。同时,我们还可以根据实际需求进行扩展和优化,例如处理大规模数据、进行数据转换和清洗等操作。希望本文对你在大数据处理中的数据迁移工作有所帮助。在大数据处理中,经常需要在不同的数据库之间进行数据的导入导出操作。本文将介绍如何使用 Python 中的 Spark 框架实现将 Hive 数据导入到 MySQL 以及从 MySQL 数据导出到 Hive 的功能,以替代传统的 datax 和 sqoop 工具。

qq_68076599的博客 1055

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

字段类型 sqoop_使用Sqoop将日志数据导入到MySQL

一、前言 《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言,希望大家以后关注本头条号更多的内容。 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(如mysql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL )中的数据导进入到Hadoop的HDFS中,...

weixin_32955207的博客 264

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Sqoop数据迁移:MySQL到HDFS的核心原理与实战优化

数据迁移是大数据处理中的基础环节,Sqoop作为Hadoop生态系统的关键工具,专为关系型数据库与HDFS之间的高效数据传输设计。其核心原理基于MapReduce并行计算框架,通过Connector插件支持多种数据库类型,自动处理数据类型映射与分片策略。在数据仓库构建场景中,Sqoop的增量导入(append/lastmodified模式)和条件过滤功能大幅提升ETL效率。结合MySQL等OLTP系统,工程师可通过调整并行度(num-mappers)、启用压缩传输(SnappyCodec)等优化手段实现TB

weixin_30843605的博客 385

Hive + Sqoop 数据搬运实战:手把手教你将订单统计结果从HDFS同步到MySQL

本文详细介绍了如何使用Hive和Sqoop将订单统计结果从HDFS高效同步到MySQL。通过环境配置、数据优化、Sqoop参数详解及实战问题排查,帮助开发者快速掌握数据搬运技术,提升数据处理效率。特别适用于需要将Hive分析结果导出到MySQL的业务场景。

dianshu1593的博客 446

基于Sqoop+Hive+MySQL构建企业级离线日志分析数仓实战

在数据驱动的业务决策中,离线数据分析是挖掘历史数据价值、洞察业务趋势的核心技术。其基本原理是通过ETL(抽取、转换、加载)流程,将分散在不同数据源(如日志文件、关系型数据库)中的原始数据,进行清洗、整合与建模,最终形成面向分析主题的、结构化的数据仓库。这项技术的核心价值在于,它能够将海量、异构的原始数据转化为标准、可信的业务指标,为运营分析、用户行为研究和性能优化提供数据支撑。其典型应用场景包括网站流量分析、用户行为漏斗构建、业务报表生成等。本文聚焦于一个经典且高效的离线分析技术组合:利用Sqoop实现Hi

weixin_33796177的博客 398

Python 与批处理:数据处理、系统管理和任务调度

Python 与批处理:数据处理、系统管理和任务调度

lixiemang8887的博客 2543

调用pyspark脚本

脚本内部  spark = SparkSession.builder.master('yarn-client').config('spark.executor.instances', 10).config('spark.executor.cores',2). \         config('spark.executor.memory', '4g').config('spark.sql.sh...

青鱼的博客 1240

HBase 2.4.9 与 MySQL 8.0 数据互导实战:Sqoop 迁移 10 万条记录

本文详细介绍了如何使用Sqoop工具实现HBase 2.4.9与MySQL 8.0之间的高效数据迁移,包括环境准备、数据流向规划、行键设计策略以及完整迁移实战步骤。通过实战案例和性能优化技巧,帮助开发者掌握大数据生态系统中不同数据库间的数据互导操作。

weixin_33722405的博客 265

OpenRefine与大数据平台集成:Hadoop数据导入实战

你是否还在为Hadoop集群中杂乱无章的CSV文件头疼?作为数据工程师,我们经常面临这样的困境:HDFS(Hadoop Distributed File System,分布式文件系统)中存储的海量数据需要经过繁琐的预处理才能用于分析。传统的处理方式要么依赖编写复杂的MapReduce作业,要么需要将数据下载到本地进行清洗,这两种方法不是开发效率低下就是无法处理大规模数据集。 本文将带你探索一种革...

gitblog_00665的博客 1096

别再纠结选哪个了!手把手教你根据业务场景选型SeaTunnel、DataX、Sqoop、Flume和Flink CDC

本文详细解析了SeaTunnel、DataX、Sqoop、Flume和Flink CDC五大数据同步工具的适用场景和选型策略。通过实时性、数据规模、系统环境和运维成本四个核心维度,帮助读者根据业务需求选择最适合的工具组合,提升数据同步效率和稳定性。

weixin_30664051的博客 355

DolphinScheduler简单部署

DolphoinScheduler 1.3.2 已经发布许久,相比于文中的 1.2.0 版本新增了许多特性,比如 支持 sqoop ,优化界面 UI 等。 DolphoinScheduler 1.3.2 详细文档请移步: https://www.yuque.com/docs/share/454e9a42-b6c7-44b2-9d29-1d5795199456?# 《DolphinScheduler - 1.3.2 Document》 关于 1.3.2 的部署,建议参考文档中源码编译的方式进行部署 一、文.

qq_40822132的博客 4310
上一篇: 大数据(9c)Flink运行架构
下一篇: 大数据(3j)Sqoop生产经验
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值