复制 容灾 脱敏 ETL 备份 大数据等咨询交流

最新推荐文章于 2025-09-05 23:07:24 发布
原创 最新推荐文章于 2025-09-05 23:07:24 发布 · 置顶 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客围绕复制、容灾、脱敏、ETL、备份、大数据等信息技术内容展开交流探讨，涉及数据处理、存储安全及大数据相关领域。
chengxuefei_bj
关注
大数据领域中Hadoop的数据迁移与整合方案
AI天才研究院
04-29 941
在企业数字化转型进程中，Hadoop作为主流大数据平台，常面临集群扩容、版本升级、多源数据融合等需求。集群演进：从Hadoop 2.x向3.x升级，或从自建集群迁移至云Hadoop（如AWS EMR、阿里云E-MapReduce）。多源融合：整合关系型数据库（MySQL/Oracle）、日志系统（ELK）、IoT设备等异构数据源到Hadoop数据湖。业务连续性：保障迁移过程中业务系统零中断，数据完整性与一致性不受破坏。
大数据领域数据服务的云计算平台选型
AI天才研究院
08-30 2550
[大数据与云计算融合架构图]
etl实现不同数据库实时备份
11-16
适用于各种数据库进行实时备份，机制采用数据抽取方式，可以备份数据视图和函数等
ETL 备份步骤.doc
07-01
datastage的Manager工具，备份ETL加工过程的方法，里面还有ETL加工过程的导出和导入，全量备份和部分备份！
ETL工具之datax
runqu的博客
04-02 2286
DataX是由阿里巴巴集团开发的开源数据同步工具，用于实现大数据集群内数据的离线同步。它主要用于数据仓库的数据导入和导出，如将关系型数据库中的数据导入到Hadoop集群中，或者将Hadoop集群中的数据导出到关系型数据库中。可扩展性：DataX支持多种数据源和目标的数据同步，如关系型数据库、Hadoop集群、Hive、HBase等；高性能：DataX利用多线程和流式计算技术，实现高速数据迁移；
六、数据仓库详细介绍（ETL）方法篇
潜行者
05-23 2252
上文我们把数据仓库类比我们人类自身，数据仓库“吃”进去的是原材料（原始数据），经过 ETL 集成进入数据仓库，然后从 ODS 开始逐层流转最终供给到数据应用，整个数据流动过程中，在一些关键节点数据会被存储存储下来落入数仓模型。在数仓这个自运转的大生态系统中 ETL 扮演了原材料加工转化和能量传输两个重要角色，有了 ETL 的加持这个生态系统才开始活起来了。在数据仓库领域，ETL 的重要性有时候甚至比数仓模型还高，ETL 水平的高低通常能决定数仓的下限（决定上限的主要是数据应用和源端数据质量）。
ETL加载策略
weixin_33709364的博客
09-12 1319
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据时代的DSG数据复制云.pptx
10-14
DSG的解决方案覆盖了大数据的各个环节，从数据的采集、转换、共享，到备份、容灾、智能运维，再到大数据应用开发，形成了完整的产品体系，为企业在大数据时代的数据管理和利用提供了强大的支撑。通过DSG的技术创新，...
大数据领域数据仓库的云服务选择建议
最新发布
AI天才研究院
09-05 1045
如何精准定义自身业务对数据仓库的需求（数据规模、性能、成本、合规等）；评估云数据仓库的7大核心指标（功能特性、性能、成本、生态等）；深度对比5大主流云数据仓库服务（AWS Redshift、Azure Synapse、Google BigQuery、阿里云AnalyticDB、腾讯云TDW）的优劣势与适用场景；提供从需求分析到PoC验证的完整选型流程，以及避坑指南和最佳实践。需求维度核心评估指标优先级（1-5分，5分最高）报表与仪表盘SQL兼容性、查询稳定性、BI工具集成5。
《大数据之路：阿里巴巴大数据实践》：看阿里人从IT时代走向DT时代的经验之谈！_大数据之路 阿里巴巴大数据实践 感悟
2401_84160087的博客
04-30 1417
最近一直在看《大数据之路：阿里巴巴大数据实践》一书，读完之后感觉受益良多。第一，对于整个大数据的体系有了更多且清晰的认知；第二，对于不同系统的逻辑处理方式给予了引导；第三，毕竟是阿里多年技术的累计产出，而且都是阿里技术大牛写的，干货相当多；最后，如果对于大数据方向想有更深入的了解，推荐大家阅读！一直以来，我都对大数据真正的价值有思考。后来才发现，阿里将这类数据称之为“活数据”：活数据是全本记录、实时驱动决策和迭代，它的价值是随着使用场景和方式动态变化的，不可估量。
kettle etl工具
11-11
详细介绍kettle中的各个组件。介绍实战中一些问题的处理。
Hive 实现脱敏以及ETL 过程（开启kerberos）
Stay Focused And Work Hard !!!
08-18 1万+
业务场景及实现原理： 通过采集工具将用户数据采集到 Hive 库；如果将数据采集到Hbase表，再通过Hive创建对应的外部表关联Hbase表，这个场景同样适用，只不过脱敏后的数据将存在Hive中而不是Hbase中。 将 采集到的Hive 数据进过一定的脱敏算法将数据共享出去； 为了防止请求被非法模仿，因而编写了一个访问Ip 鉴权类，也就是设置了访问ip白名单，只有在白名单上的ip才可以访问接...
ETL工具kettle数据迁移
yuzhu
07-11 2646
一个可以在相同或者不同数据库间做数据迁移的工具。ETL工具评价http://blog.youkuaiyun.com/baodi_z/article/details/45023439几种 ETL 工具的比较(Kettle,Talend,Informatica,Inaplex Inaport) http://blog.youkuaiyun.com/renminzdb/article/details/42422149kettl...
大众点评ETL数据传输平台整体架构
lvzhuyiyi的博客
07-06 5228
1.1 平台整体架构 该企业的数据传输平台主要由三部分构成： 1) 一部分是基于Quartz和Docker的调度系统。主要功能是负责调度和运行ETL任务。监视和变换当前任务实例的状态，当实例状态发生变化或者符合变化条件时主动更新数据库和内存中实例状态。 2) 一部分是数据交换工具Wormhole。主要用来多个数据库之间数据的交换，是ETL平台的基础。这个工具我们一般把它集成到Docker镜像
ETL 数据库同步方案
qq_30517167的博客
05-14 3106
https://www.cnblogs.com/fjhh/p/5370891.html
数据脱敏的处理方法及查询
热门推荐
ertyee42的博客
11-16 5万+
【摘要】 关键词：集算器、SPL、数据脱敏、报表 1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一。” 2）、本文介绍的脱敏数据报表查询将利用润乾集算器编写 SP...
ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
dicongtan5700的博客
01-17 464
本系列文章主要索引如下： 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】 本文主要阅读目录如下： 1、简介Kettle的Kitchen和Span 2、命令行调度任务配置方式 3、后台进程配置运行方式...
Kettle资源库配置和安装备份用MySQL
dltan
06-11 1338
##kettle连接资源库的形式 kettle连接资源库,资源库的形式有多种，一是文件形式的资源库，二是数据库形式的资源库。下面以MySQL的数据库资源库配置和整理进行说明。 思路：【1.安装配置MySQL】，【2.修改MySQL中admin的用户密码】，【3.载入已有的MySQL的数据库脚本】，【4.备份现有的MySQL资源库脚本】【5.kettle测试连接资源库】 ##一、MySQL安装 安装...
【Hive】13-实战案例1——数据ETL
通往神秘的道路的专栏
10-06 2316
需求： 对web点击流日志基础数据表进行etl（按照仓库模型设计） 按各时间维度统计来源域名top10 已有数据表 “t_orgin_weblog” ： +------------------+------------+----------+--+ |     col_name     | data_type  | comment | +---------------...
大数据业务开户全流程指南及最佳实践
数据存储方面推荐采用分层存储策略（热数据存于高速SSD，冷数据归档至低成本对象存储），并实施定期备份与容灾演练；数据分析则鼓励使用机器学习模型与可视化工具结合的方式，挖掘深层次业务洞见。最后，持续监控与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值