<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[mitao666的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/mitao666</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mitao666]]></copyright><item><title><![CDATA[Linux高级shell脚本]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/132138266</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/132138266</guid><author>mitao666</author><pubDate>Mon, 07 Aug 2023 01:07:45 +0800</pubDate><description><![CDATA[Linux之shell脚本编写]]></description><category></category></item><item><title><![CDATA[2021-01-18]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/112857368</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/112857368</guid><author>mitao666</author><pubDate>Wed, 20 Jan 2021 09:18:20 +0800</pubDate><description><![CDATA[1.Flink双流Join总结:

Join大体分类只有两种：Window Join和Interval Join。Window Join又可以根据Window的类型细分出3种：

	Tumbling Window Join
		Sliding Window Join
		Session Widnow Join
	
	Windows类型的join都是利用window的机制，先将数据缓存在Window State中，当窗口触发计算时，执行join操作；
	interval join也是利用state存储数据再.]]></description><category></category></item><item><title><![CDATA[SQL万能模板之七步剖析--适合小白快速入门]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/110475560</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/110475560</guid><author>mitao666</author><pubDate>Wed, 02 Dec 2020 11:36:11 +0800</pubDate><description><![CDATA[SQL万能模板之七步剖析–适合小白快速入门


SQL模板
select 1 from 2 where 3 group by 4 having 5 order by 6 limit 7


1-决定了结果有哪些列：对数据源中数据列的过滤
2-决定了查询数据的数据源是什么

表、视图、join、子查询


3-决定了对数据源中数据行的过滤：分组前的行的过滤
4-决定了按照哪一列的值进行分组：一般都会搭配聚合函数

在group by语句中，1位置中的列要么是分组的字段，要是是聚合函数的结果


5-决定了对分]]></description><category></category></item><item><title><![CDATA[Hadoop运行机制理解心得]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/110474056</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/110474056</guid><author>mitao666</author><pubDate>Wed, 02 Dec 2020 11:01:17 +0800</pubDate><description><![CDATA[Hadoop运行机制理解心得


Shuffle过程


Map端Shuffle

Spill：将MapTask处理好的数据写入磁盘

所有MapTask的数据会先进行分区标记
所有标记完成的数据会被写入一个环形缓冲区【内存：100M】
当缓冲区达到存储阈值80%，这部分就被锁定，准备溢写
对着80%中的K2V2进行排序：相同分区的数据放在一起

内存：快排


将这部分数据写入磁盘变成小文件
最终每个MapTask会产生很多个有序的小文件


Merge：将每个MapTask对应的所有小文件进行合并成一个]]></description><category></category></item><item><title><![CDATA[分布式如何进行解决大数据的存储与计算问题个人理解]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/110472613</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/110472613</guid><author>mitao666</author><pubDate>Wed, 02 Dec 2020 10:53:45 +0800</pubDate><description><![CDATA[分布式如何进行解决大数据的存储与计算问题个人理解


分布式：如何解决大量数据的计算和存储问题的？


问题1：为什么不用MySQL存储和分析计算？

数据量大，MySQL存储不了
即使能存储，处理的性能也很差

数据的价值会随着时间的流逝而逐渐降低
离线架构：以一定时间为单位处理数据

今天处理昨天的数据，时效性比较慢【分钟及以上级别】


实时架构：以数据生成为单位处理数据

数据产生一条处理一条，时效性比较高【ms级别】




数据种类的多样化



问题2：如何解决数据大无法存储或者计算的问题？
]]></description><category></category></item><item><title><![CDATA[hive优化基础1]]></title><link>https://blog.youkuaiyun.com/mitao666/article/details/110470913</link><guid>https://blog.youkuaiyun.com/mitao666/article/details/110470913</guid><author>mitao666</author><pubDate>Wed, 02 Dec 2020 10:38:39 +0800</pubDate><description><![CDATA[1.hive优化基础1
开启分桶 set hive.enforce.bucketing=true;
设置reduce个数 set mapreduce.job.reduces=3;


hive表 -&gt;orc和parquet --&gt;ZLIB或snappy Parquet是面向分析型业务的列式存储格式


fetch抓取: 在全局找、字段查找、limit查找等都不走mapreduce. set hive.fetch.task.conversion=more;默认为 none.


本地模式 :
a.]]></description><category></category></item></channel></rss>