- 博客(12)
- 收藏
- 关注
原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (3/3)
//方式7 map + countByKey //方式8 countByValue
2022-08-05 17:44:04
505
原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (2/3)
//方式4 map + aggregateByKey //方式5 map + foldByKey //方式6map + combineByKey
2022-08-05 17:43:32
552
原创 用Scala编程,在Spark RDD下, 实现 WordCount 的8种方式 (1/3)
//方式1 map + reduceByKey。 //方式2 map + groupByKey + mapValues。 //方式3 groupBy + mapValues。
2022-08-05 15:27:50
642
原创 Hive 建表语句
# 建表语句 CREATE TABLE ` struct_score` ( `id` int, `course` struct<course:string,score:int>) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ( 'collection.delim'=',', 'field.delim'='\t', 'serialization.forma...
2022-04-18 23:54:21
2033
原创 hadoop 学习心得
Hbase 即 Hadoopbase 类似 database的叫法,虽然已经有HDFS了(Hadoop Distributed File System),但是还需要删除 和 修改,所以,又有了Hbase: 分布式的,非结构化数据存储的,面向列的,关系数据库。
2022-04-18 00:05:01
9366
转载 SQL join
SQL join 用于把来自两个或多个表的行结合起来。下图展示了 LEFT JOIN、RIGHT JOIN、INNER JOIN、OUTER JOIN 相关的 7 种用法。
2022-04-15 23:40:54
98
原创 HQL 练手
# 在hive里, 之前把有 null 值的 行删了,用下面这句 insert overwrite table ods_tset_stu select * from ods_tset_stu where name is not null; # 然后就出现了,空白的行,不显示为null,看着就是空的, insert overwrite table ods_test_stu select * from ods_test_stu where name !=' '; insert overwrite tab
2022-04-14 23:53:01
1589
原创 SQL 练手
SQL create database test; use test; create table stu( id int not null, name char(10) ); insert into stu(id ,name) values(1,'张三'),(2,'李四'),(3,'王五'),(4,'赵六'); sqoop import --connect jdbc:mysql://192.168.5.102:3306/test --username root --password roo...
2022-04-13 23:49:55
696
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅