MyNameIsWangYi的博客

代码】[hive报错]找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster。

目录1.问题2.建表、添加数据，因为给的表有两张，所以建了两张表3.两张表 union all，得到一张全量表，最终处理逻辑只用这张表4.主要逻辑4.1 使用窗口函数进行排序，主要目的是每行都复制为1；利用toA是否为 '' 进行标记并复制0或1（flag），然后累加flag标记，和值sumValue会是1,2，3...4.2 可见sumValue是顺序的1，2,3... 这样将最开始的test0112表中的值提出来标记成sumFlag，单独排序4.3 其实就这一条sql是主要的：将 4.1 和 4.2的结

目录rank()函数和字段名：数据块抽样分桶表的输入裁剪rank()函数和字段名：rank函数进行抽样返回的随机值发挥不相等的值，非rank函数进行分桶的话，同一语句多次执行的返回结果是相同的。注释：number是字段，numbers是表，表只有一个字段number，数值是1-10select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON rank()) s;select * from numbers TABLESAMPLE(BUCKET 3 O

distribute by控制map的输出在reduce中是如何划分的。mapreduce job中传输的所有数据都是按照键值对的方式进行组织的，因此hive在将用户的查询语句转换成mapreduce jib时，其必须在内部使用这个功能。例如sql：select s.ymd,s.symbol,s.price_close from stocks s distribute by s.symbolsort by s.symbol asc ,s.ymd asc;等价于select s.ymd,s.s

官网提供了三种方式：直接建表法CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment], ... [constraint_specification])] [COMMENT table_comment]

1.客户端向resource manager申请运行application2.resource返回给client一个jobid和资源的上传路径3.客户端将资源上传到hdfs上（查看输入的目录文件并计算切片FileSplit[]，job对象的序列化xml，jar包）4.客户端请求一个容器（多少g多少核）5.resource manager将客户端的请求转化为一个task，放在任务队列（找到一...

mysql在之前连接spark的时候版本自己发生了改变，需要改回。还有当时百度借鉴的文章：https://blog.youkuaiyun.com/aubekpan/article/details/93758340一、如果是root外用户，可能存在权限问题，解决方法如下：在core-site.xml下<property> <name>hadoop.proxyuser....

交流qq： 249496272row_number() over()——分组TOPN例子：select id,age,name,sex from ( select id,age,name,sex, row_number() over(partition by sex order by age desc) as rankfrom t_rownumber) tmpwhere rank&l...