<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dashujuedu的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dashujuedu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dashujuedu]]></copyright><item><title><![CDATA[每个数据工程师都应该了解和使用的10 个 ChatGPT 提示]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/132874125</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/132874125</guid><author>dashujuedu</author><pubDate>Thu, 14 Sep 2023 13:27:45 +0800</pubDate><description><![CDATA[提示 1：我希望你充当数据工程师并解释数据仓库和数据湖之间的区别。
提示 2：我希望你充当数据工程师并解释不同类型的数据管道。
提示3：我希望你充当数据工程师并解释不同类型的数据存储系统。
提示 4：我希望你充当数据工程师并解释不同类型的数据处理系统。
提示5：实时处理系统和流式数据处理系统有什么区别？
提示6：我希望你充当数据工程师并解释不同类型的数据可视化工具。
提示7：我希望你充当数据工程师并解释不同类型的数据安全措施。
提示 8：描述数据摄取的过程及其在数据工程中的重要性。
……]]></description><category></category></item><item><title><![CDATA[使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/132733323</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/132733323</guid><author>dashujuedu</author><pubDate>Thu, 07 Sep 2023 11:15:24 +0800</pubDate><description><![CDATA[Flink-Doris-Connector 1.4.0 允许用户一步将包含数千个表的整个数据库（MySQL或Oracle ）摄取到Apache Doris（一种实时分析数据库）中。通过内置的Flink CDC，连接器可以直接将上游源的表模式和数据同步到Apache Doris，这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。]]></description><category></category></item><item><title><![CDATA[如何免费获取CDH集群技术支持]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/132731130</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/132731130</guid><author>dashujuedu</author><pubDate>Thu, 07 Sep 2023 09:58:26 +0800</pubDate><description><![CDATA[CDH拥有全球70% 的Hadoop用户，在国内也拥有庞大的用户群体。由于Cloudera 和Hortonworks 合并后厂商政策调整，不再更新、不再免费、不再提供服务，众多企业用户生产集群面临着进退两难的窘境和未知的技术风险。碧茂科技作为国内最早提供CDH培训和技术服务的第三方平台服务商，一路伴随CDH成长发展，深怀对产品的感情，深感对用户的责任。自厂商停止服务以来，不断收到老学员和用户的反馈，决定公益免费提供CDH集群巡检以及60天远程技术支持服务。用户可自行申请。]]></description><category></category></item><item><title><![CDATA[分布式数据集RDD经典集锦]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/54629620</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/54629620</guid><author>dashujuedu</author><pubDate>Fri, 20 Jan 2017 10:45:27 +0800</pubDate><description><![CDATA[RDD是spark的核心组成，想要理解spark，就必须了解RDD。那么RDD具有什么样的特性，怎么来创建和应用呢？]]></description><category></category></item><item><title><![CDATA[Spark的函数式编程]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/54616256</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/54616256</guid><author>dashujuedu</author><pubDate>Thu, 19 Jan 2017 15:04:47 +0800</pubDate><description><![CDATA[Spark是近年来发展较快的分布式并行数据处理框架，了解和掌握spark对于学习大数据有着至关重要的意义。但是spark依赖于函数单元，它的函数编程过程是怎样的呢？我们怎么来应用呢？]]></description><category></category></item><item><title><![CDATA[解密数据分区]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/54406110</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/54406110</guid><author>dashujuedu</author><pubDate>Fri, 13 Jan 2017 10:21:30 +0800</pubDate><description><![CDATA[数据分区分为两种，动态分区和静态分区，那么两种分区是怎样创建的呢？它们各自怎么来使用呢？]]></description><category></category></item><item><title><![CDATA[在Impala 和Hive里进行数据分区（1）]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/54376084</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/54376084</guid><author>dashujuedu</author><pubDate>Thu, 12 Jan 2017 11:06:20 +0800</pubDate><description><![CDATA[进行数据分区将会极大的提高数据查询的效率，尤其是对于当下大数据的运用，是一门不可或缺的知识。那么数据怎么创建分区呢？数据怎样加载到分区呢？]]></description><category></category></item><item><title><![CDATA[Hadoop文件存储的葵花宝典]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53941702</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53941702</guid><author>dashujuedu</author><pubDate>Fri, 30 Dec 2016 13:21:36 +0800</pubDate><description><![CDATA[文件存储分行存储和列存储，每个存储格式里面又分不同的类型，在实际的应用中如何去使用？怎样去使用？快来围观吧！]]></description><category></category></item><item><title><![CDATA[Hive和Impala加载和存储数据功能曝光]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53908559</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53908559</guid><author>dashujuedu</author><pubDate>Wed, 28 Dec 2016 14:54:23 +0800</pubDate><description><![CDATA[Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？]]></description><category></category></item><item><title><![CDATA[Sqoop新品来了]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53886258</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53886258</guid><author>dashujuedu</author><pubDate>Mon, 26 Dec 2016 15:06:51 +0800</pubDate><description><![CDATA[Sqoop尽管稳定的应用于生产环境很多年，但是它自身存在的一些缺陷给实际操作带来了不便。Sqoop2便成为了研究使用的对象，那么Sqoop2有什么优势呢？]]></description><category></category></item><item><title><![CDATA[为什么使用Hive和Impala]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53763010</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53763010</guid><author>dashujuedu</author><pubDate>Tue, 20 Dec 2016 14:56:49 +0800</pubDate><description><![CDATA[Impala 与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？]]></description><category></category></item><item><title><![CDATA[关系型数据库导入导出绝招出炉]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53738375</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53738375</guid><author>dashujuedu</author><pubDate>Mon, 19 Dec 2016 13:31:12 +0800</pubDate><description><![CDATA[Sqoop作为数据传输的工具，对于Hadoop与传统数据库之间数据的传输起着桥梁作用，那么到底如何导入导出数据呢？]]></description><category></category></item><item><title><![CDATA[Hadoop核心组件：四步通晓HDFS]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53691035</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53691035</guid><author>dashujuedu</author><pubDate>Fri, 16 Dec 2016 11:28:15 +0800</pubDate><description><![CDATA[HDFS作为Hadoop的核心组件，掌握和了解HDFS对于学习Hadoop有着重要的意义，本文通过四个步骤全面阐述HDFS的操作应用，是学习Hadoop人员不得不看的经典分享。]]></description><category></category></item><item><title><![CDATA[Sqoop导入关系型数据库-解密Sqoop]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53669546</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53669546</guid><author>dashujuedu</author><pubDate>Thu, 15 Dec 2016 13:51:30 +0800</pubDate><description><![CDATA[Sqoop作为Hadoop与传统数据库之间的桥梁，对于数据的导入导出有着重要作用。通过对Sqoop基本语法以及功能的阐述，深刻解密Sqoop的作用和价值。]]></description><category></category></item><item><title><![CDATA[Hadoop项目规划：硬件]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53609800</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53609800</guid><author>dashujuedu</author><pubDate>Tue, 13 Dec 2016 15:01:14 +0800</pubDate><description><![CDATA[规划硬件我们主要介绍两个方面：一个是Master怎么规划，一个是Slave怎么规划，选择是不一样的。其他规划诸如容量以及操作系统的选择也会简单介绍，对于了解Hadoop的操作环境有着重要帮助作用。]]></description><category></category></item><item><title><![CDATA[集成Hadoop到数据中心]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53582393</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53582393</guid><author>dashujuedu</author><pubDate>Mon, 12 Dec 2016 14:36:37 +0800</pubDate><description><![CDATA[集成Hadoop到数据中心主要通过有Hadoop的数据中心与没有Hadoop的数据中心之间对比，以及使用Hadoop之后带来的数据流的一些改变等方面进行阐述，对于直观了解Hadoop的应用有着一定作用。]]></description><category></category></item><item><title><![CDATA[数据分析：Hive、Pig和Impala]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53538609</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53538609</guid><author>dashujuedu</author><pubDate>Fri, 09 Dec 2016 14:34:11 +0800</pubDate><description><![CDATA[主要是针对Hive、Pig和Impala各自的特点、应用、区分，以及与传统数据库的区别来进行阐述，对于深入了解数据分析工具在实际中的运用有着重要作用。]]></description><category></category></item><item><title><![CDATA[数据集成：Flume和Sqoop]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53517982</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53517982</guid><author>dashujuedu</author><pubDate>Thu, 08 Dec 2016 14:42:32 +0800</pubDate><description><![CDATA[本文主要阐述了Flume和sqoop的功能、架构以及实际应用，中间结合了一些实际的使用例子，读起来更直白易懂，对于了解和学习数据集成的人员来说会有很大作用。]]></description><category></category></item><item><title><![CDATA[Hadoop数据存储—Hbase]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53506448</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53506448</guid><author>dashujuedu</author><pubDate>Wed, 07 Dec 2016 15:14:03 +0800</pubDate><description><![CDATA[本文主要描述了hbase的特点，hbase与传统数据库的区别，以及为什么我们会使用hbase，主要阐述了个人对于hbase的一些认知和理解。]]></description><category></category></item><item><title><![CDATA[mapreduce和spark的原理及区别]]></title><link>https://blog.youkuaiyun.com/dashujuedu/article/details/53487199</link><guid>https://blog.youkuaiyun.com/dashujuedu/article/details/53487199</guid><author>dashujuedu</author><pubDate>Tue, 06 Dec 2016 15:14:34 +0800</pubDate><description><![CDATA[本文主要根据自己的经验对于mapreduce和spark的原理及区别进行了一个详细的描述，对于了解和学习mapreduce和spark有着一定作用]]></description><category></category></item></channel></rss>