麋鹿麋鹿迷了路

『数据研发系列』第四期——4张思维导图带你了解阿里数据仓库架构设计

『数据研发系列』第三期——3张思维导图教你ETL和SQL

『数据研发系列』第二期——3张思维导图教你离线模型设计

(8)SELECT (9) DISTINCT (11) <TOP_specification> <select_list>(1) FROM <left_table>(3) <join_type> JOIN <right_table>(2) ON <join_condition>(4) WHERE <where_condition>(5) GROUP BY <group_by_list>(6

渣硕的秋招算是终于结束了，写一下秋招的一些面经吧。应聘方向是大数据开发和java开发大概拿到的offer有：阿里、美团、快手、贝壳、作业帮、旷视、农行总部、浙江大华、海康威视、有赞、云从科技、招银网络科技、oppo一.阿里巴巴（已拿offer）：渣硕阿里面了总共三个部门，最终有幸拿到了阿里新零售的数据研发。最后数据研发岗位没有总结面经。前面两个部门。阿里cbu一面（java开发...

Storm的ack机制 Ack机制基本知识 （1）为了保证消息处理过程中的可靠性,storm使用了ack机制。storm会专门启动若干acker线程，来追踪tuple的处理过程。acker线程数量可以设置。（2）每一个Tuple在Spout中生成的时候,都会分配一个64位的messageId。通过对messageId进行哈希我们可以知道要对哪个ack...

Storm的ack机制 Ack机制基本知识 （1）为了保证消息处理过程中的可靠性,storm使用了ack机制。storm会专门启动若干acker线程，来追踪tuple的处理过程。acker线程数量可以设置。（2）每一个Tuple在Spout中生成的时候,都会分配一个64位的messageId。通过对messageId进行哈希我们可以知道要对哪个ack...

1.窄依赖：父分区对应一个子分区。 2.宽依赖：父分区对应多个子分区。

一面很多原理和计算机基础 c++1,反转链表和两个字符串最大公共子串2,osi的七层和什么的四层3,tcp和udp三次握手4，进程和线程区别5,hadoop分布，zookeeper选举6,hive和hbase区别，hbase都是mapreduce吗7,hbase底层8,mapreduce,shfful,经常查询用什么9，hbase原理二面1...

一、 简介hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要...

使用sparkSql中的SparkSession连接mysql数据库val sparkSession=SparkSession.builder().appName('SparkLinkMysql').getOrCreate()sparkSession.read().format("jdbc") .option("driver", "com.mysql.jdbc.Driver") ...

Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join; 那么join方法如何实现不同的join类型呢？ 看其原型 def join(right : DataFrame, usingColumns : Seq[String], joinType : String) : DataFrame def join(...