- 博客(11)
- 收藏
- 关注
RSS订阅原创 大数据框架概述：HDFS
1.HA架构 在HA集群中，一般设置两个NN，其中一个处于“活跃（Active）”状态，另一个处于“待命（Standby）”状态。处于Active状态的NN负责对外处理所有客户端的请求，处于Standby状态的NN作为热备份节点，保存了足够多的元数据，在Active节点发生故障时，立即切换到活跃状态对外提供服务。 由于Standby NN是Active NN的“热备份”，因此Active NN的状态信息必须实时同步到StandbyNN。针对状态同步，可以借助一个共享存储系统来实现(JournalNo
2021-03-10 01:19:36
362
1
原创 大数据框架概述：MapReduce
1.作业执行流程 分别列了Hadoop 1.0时代、2.0时代的大体工作流 详述，仅关心2.0： 作业提交 1.客户端提交Job 2.向资源管理器请求一个application ID，等于job ID。 3.Job client核对job的输出规范，计算输入划分（input split），复制job resource（包括job JAR、配置文件和划分信息） 到HDFS，目录以job ID命名 4.最后通过调用资源管器的submitApplication()来提交job 5.当资源管理器
2021-03-09 01:02:48
319
1
转载 Hive面试题3:底层知识
目录 1.hive架构 什么是Hive Hive架构 Hive优点 Hive使用场景 Hive的执行流程 2.sql如何转为mapreduce程序的 1.hive架构 什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更换为Spark/T.
2021-02-02 00:29:57
364
原创 Hive面试题1:复杂sql
1.等比例抽样 此场景在工作中遇到过，笔者原创。有用户表user，字段user_id, city。现运营同事要选10w人发调查问卷，要求人群的city分布，和全量用户的city分布一致。 with city_fenbu as ( select city, user_cnt/ sum(user_cnt) over() as zhanbi from ( select city,count(user_id) as user_cnt from user_inf
2021-01-25 01:21:14
1142
原创 java 异常处理总结
1.异常层次结构 Java中，异常对象都是派生于Throwable类的一个实例。下图是异常层次结构： 源自Core Java(Volume I--Fundamentals 9th Edition) (1) 派生于Error和RuntimeException的所有异常称为未检查(unchecked)异常，所有其他的异常称为已检查(checked)异常。 在unchecked异常
2016-09-22 10:30:50
425
原创 JSP中文乱码问题
刚开始写JSP，跟着书上做一个简单BBS的小项目。留言内容部分，中文显示乱码，顺着内容被处理的流程：html提交到servlet--->存储到数据库--->servelet从数据库取数据--->显示。首先手动去mysql命令行找出数据，发现已经是乱码。所以问题出在前两步。 找来几种方案： 1.html页面提交内容的method采用post，而非默认的get； 2.在jsp页面，所有变量被访问
2016-07-25 14:49:31
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人