- 博客(4)
- 收藏
- 关注
RSS订阅原创 MySQL优化
1、EXPLAIN 做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。 下面来个简单的示例，标注（1、2、3、4、5）我们要重点关注的数据： type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。 key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。 key_len列，索引长度。 rows列，扫描行数。该值是个预估值。 ext...
2019-10-12 11:06:08
212
原创 Hive使用简单总结
一.Hive介绍 1.1.Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它...
2019-09-27 11:36:39
726
原创 Hive On Spark ： 修改hive源码注册的自定义函数无法识别问题
目前spark读取hive的udf，只能读到通过hive命令创建的自定义函数，没有彻底解决读取通过修改源码注册的自定义函数的方案。 create temporary function row_sequence as 'org.rowsequence.RowSequence'; 在修改源码包后，自定义的函数在hive-on-spark模式下无法识别 //自定义的函数开始 system.regist...
2019-09-09 18:28:06
705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人