<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[t_813的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/t_813</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; t_813]]></copyright><item><title><![CDATA[ORACLE 基础]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/136405137</link><guid>https://blog.youkuaiyun.com/t_813/article/details/136405137</guid><author>t_813</author><pubDate>Fri, 01 Mar 2024 20:37:25 +0800</pubDate><description><![CDATA[ORACLE 数据库系统是美国 ORACLE 公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S 体系结构的数据库之一。ORACLE 通常应用于大型系统的数据库产品。ORACLE 数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。]]></description><category></category></item><item><title><![CDATA[基于DataX完成数据导入-新增及更新导入,全量同步]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135913805</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135913805</guid><author>t_813</author><pubDate>Thu, 01 Feb 2024 09:00:00 +0800</pubDate><description><![CDATA[以shop_order(商城订单表)]]></description><category></category></item><item><title><![CDATA[基于DataX完成数据导入-仅新增方案]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135913156</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135913156</guid><author>t_813</author><pubDate>Wed, 31 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[仅新增方式: 订单退款表为例, 探讨如何完成仅新增方式导入操作从业务库将数据导入到ODS层, 分为 首次导入和增量导入两部分, 其中首次导入指的第一次建表, 导入数据, 此时一般都是全量导入, 后续每一天都是采用增量导入的方式,当前项目, 增量模式: T+1(当天处理都是上一天的数据/ 每天的数据在下一天进行处理)技术: DataX当全量导入数据的时候, 整个数据集是应该放置到上一天的分区中呢?还是说应该按照实际表数据创建时间划分到不同分区呢?]]></description><category></category></item><item><title><![CDATA[基于DataX完成数据导入-全量覆盖方案]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135911995</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135911995</guid><author>t_813</author><pubDate>Tue, 30 Jan 2024 09:30:00 +0800</pubDate><description><![CDATA[我们开发中 在ods层会使用 : orc + zlib格式, 而其他分层则使用 orc + snappy格式。]]></description><category></category></item><item><title><![CDATA[数仓工具使用-Datax]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135908366</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135908366</guid><author>t_813</author><pubDate>Mon, 29 Jan 2024 11:57:47 +0800</pubDate><description><![CDATA[DataX 是阿里推出的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。将DataX安装好之后, 仅需要配置Json的采集文件即可实现数据的同步DataX几个组成部分:Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer：Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。]]></description><category></category></item><item><title><![CDATA[Zookeeper]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135743297</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135743297</guid><author>t_813</author><pubDate>Fri, 26 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[环境准备:1. 三台虚拟机都需要安装: Zookeeper环境, 这个不用做了, 我给你装好了.2. 三台虚拟机都要配置path环境变量, 这个我没做, 需要你手动做.3. 分别在三台虚拟机中启动, 并查看 Zookeeper节点信息即可.zkServer.sh start | status | stop       -- 启动, 查看状态, 关闭zkCli.sh                                -- 打开ZK的客户端.]]></description><category></category></item><item><title><![CDATA[Yarn集群--三大调度策略]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135743117</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135743117</guid><author>t_813</author><pubDate>Thu, 25 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[目前几乎已经没有人使用了.类似于: 单行道.好处:每个计算任务能独享集群100%的资源.弊端:不能并行执行, 如果大任务过多, 会导致小任务执行时间过长.]]></description><category></category></item><item><title><![CDATA[Hadoop原理]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135742800</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135742800</guid><author>t_813</author><pubDate>Wed, 24 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[HDFS的安全模式解释:概述:安全模式是HDFS自带的有一种保护机制, 在安全模式下, 只能读, 不能写.进入安全模式的方式:1. 启动Hadoop集群的时候, 会自动进入到安全模式, 进行自检. 自检没问题后, 会自动关闭安全模式.2. 当活跃的节点数 < 默认的副本数时, 会强制进入到安全模式.3. 手动进入.格式:hdfs dfsadmin -safemode get | enter | leave     获取 | 进入 | 离开。]]></description><category></category></item><item><title><![CDATA[Hive调优]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135742213</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135742213</guid><author>t_813</author><pubDate>Tue, 23 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置).      负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置).      严格模式(动态分区), 推测执行...4. 减少IO传输.                   Input(输入)/Output(输出),  列存储orc, 压缩协议snappy, join优化。]]></description><category></category></item><item><title><![CDATA[Hive高阶函数]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135735371</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135735371</guid><author>t_813</author><pubDate>Mon, 22 Jan 2024 10:31:54 +0800</pubDate><description><![CDATA[列转行需要用到 explode()函数, 爆炸函数, 它属于UDTF(表生成函数), 即: 一进多出. 只能处理 数组或者字典.


建表

NBA历年夺冠球队信息.
数据格式为: Chicago Bulls,1991|1992|1993|1996|1997|1998


上传源文件, 然后查看数据.




 此时数据为


 5. 在上述查询基础上, 加入: 队名即可, 写法如下.






高阶函数--行转列



1. 建表.




2. 上传源文件.


3. 查看表数据.




4. Hi]]></description><category></category></item><item><title><![CDATA[Hive函数详解]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135734903</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135734903</guid><author>t_813</author><pubDate>Sun, 21 Jan 2024 21:13:16 +0800</pubDate><description><![CDATA[Hive函数划分介绍:函数介绍:函数就是开发者定义好的规则, 我们只要调用指定的函数, 传入对应的参数, 就能获取对应的结果, 我们无需关心函数内部是如何执行的, 只要会调用即可.可以把函数理解为是人们研发的机器, 不同的机器所需的原材料(参数)是不一样的, 传入不同的原材料(参数), 就会获取不同的结果.概述:最初Hive的函数分为 内置函数 和 用户自定义函数两大类, 而用户自定义函数又分为 UDF, UDAF, UDTF三种.]]></description><category></category></item><item><title><![CDATA[HiveSQL]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135560819</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135560819</guid><author>t_813</author><pubDate>Sat, 13 Jan 2024 13:02:05 +0800</pubDate><description><![CDATA[3. mapreduce.job.reduces 参数的值默认是 -1, 即: 程序会按照数据量, 任务量自动分配ReduceTask的个数, 一般是1个, 即: 1个桶.2. 去Linux中(即: node1机器), 修改hive软件的配置信息, 配置文件是: /export/server/hive/conf/hive-site.xml 文件.1. 去MySQL的hive3数据库中, 修改Hive的码表信息.    因为Hive的元数据(表名, 列名, 数据类型, 描述信息等)都是在MySQL中存储的.]]></description><category></category></item><item><title><![CDATA[Hive简介]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135483223</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135483223</guid><author>t_813</author><pubDate>Wed, 10 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[以后只要写HiveSQL语法就可以了，Hive会将其自动转成MR任务，交由Yarn来调度执行。Hive是依赖Hadoop的，想使用Hive，必须先搭建和启动Hadoop集群。]]></description><category></category></item><item><title><![CDATA[Hadoop]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135444463</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135444463</guid><author>t_813</author><pubDate>Tue, 09 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[分布式: 多台机器做不同的事情, 然后组成1个整体.集群: 多台机器做相同的事情.多台机器既可以组成 中心化模式, 也可以组成 去中心化模式。]]></description><category></category></item><item><title><![CDATA[大数据是什么]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135444313</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135444313</guid><author>t_813</author><pubDate>Mon, 08 Jan 2024 09:00:00 +0800</pubDate><description><![CDATA[1.数据导论

①什么是数据


	对人的行为及习惯做的一种记录.
	
	
	大白话: 一切皆数据.
	
②数据有什么?


	可以帮助我们更好的了解事与物之间的规律, 更好的提高人们的生活体验和生活环境.
	
③我们以后要做什么? 


	我们要做数据分析, 就是从海量的数据中提取出有效的价值信息, 实现数据的商业化, 价值化,
	
	
	给企业决策者或者运营人员提供分析型报告 和 数据支持.
	
2.大数据相关导论

 ①什么是大数据?


	狭义上理解: 分析海量的数据, 提取出有价]]></description><category></category></item><item><title><![CDATA[Shell解释器介绍，Shell变量，如何编写以及执行shell脚本]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135429575</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135429575</guid><author>t_813</author><pubDate>Sun, 07 Jan 2024 20:12:36 +0800</pubDate><description><![CDATA[Shell编程:就是把我们写的Linux命令封装到1个文件中, 这个文件就叫: Shell脚本. 它是可以被执行的.从编写, 到执行的完整过程, 称之为:;Shell编程.# Shell脚本的执行, 底层需要用到Shell解释器, Linux的众多发行版, 默认的Shell解释器是: /bin/bash[root@node1 ~]# cat /etc/shells     # 查看当前Linux系统支持哪些Shell解释器/bin/sh/bin/bash/bin/tcsh。]]></description><category></category></item><item><title><![CDATA[Linux常用命令]]></title><link>https://blog.youkuaiyun.com/t_813/article/details/135428493</link><guid>https://blog.youkuaiyun.com/t_813/article/details/135428493</guid><author>t_813</author><pubDate>Sat, 06 Jan 2024 17:33:40 +0800</pubDate><description><![CDATA[注意多个权限之间, 没有空格.  user(属主), group(属组), other(其它)date -d '1 day' '+%Y/%m/%d'              # 正数往后加, 负数往前推. 今天时间, 往后加一天.date -d '-1 day' '+%Y/%m/%d'             # 正数往后加, 负数往前推. 今天时间, 往后加一天.date -d '-1 day ago' '+%y-%m-%d'     # 负负得正, 往后推一天, 了解即可, 没人写.]]></description><category></category></item></channel></rss>