- 博客(8)
- 收藏
- 关注
原创 腾讯面试SQL题,有一张用户签到表【t_user_attendence】,标记每天用户是否签到。
腾讯面试题,有一张用户签到表【t_user_attendence】,标记每天用户是否签到(说明:该表包含所有用户所有工作日的出勤记录),表内有三个字段:日期【fdate】,用户id【fuser_id】,用户当天是否签到【fis_sign_in:0否1是】。-- 题目:有一张用户签到表【t_user_attendence】,标记每天用户是否签到(说明:该表包含所有用户所有工作日的出勤记录),
2023-11-01 21:04:06
330
原创 吐血整理!!!全网史上(不是)最详细MapReduce中合并以及组合器和压缩的定义及区别
首先给大家简单介绍一下MapReduce中shuffle机制:●MapReduce中,map阶段处理的数据如何传递给reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫shuffle;●shuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存,合并)●具体来说:就是将MapTask输出的处理结果数据,分发给ReduceTask,并在分发的过程中,对数据按key进行了分区和排序等处理;本质:提前进行聚合,让MapTask分担ReduceTask的工作。
2023-10-30 22:27:32
482
1
原创 深入学习YARN集群的工作流程
如果是 YARN 平台,客户端将对 ResouceManager 发起提交作业申请,具体流程如下:1.Client 对 ResouceManager 发起提交作业申请;2.ResouceManager 返回 JobID(即 Application ID)和保存数据资源(作业的 Jar 文件,配置文件,计算所得输入分片,资源信息等)的临 时目录(使用 JobID 命名的目录,hdfs://xxx/staging/xxx);3.接着 Client 计算
2023-10-23 22:30:22
115
1
原创 乐观锁(CAS)详解 及可能引发的ABA问题的解决
使用CAS会造成ABA问题,一个线程a将数值改成了b,接着又改成了a,此时CAS认为是没有变化,其实是已经变化过了,这种过程就叫ABA问题。解决ABA问题非常简单,就是使用版本号标志,每当修改操作一次版本号加1,这样比较时候,不管比较值还比较了版本号。但是在java5中,已经提供了AtomicStampedReference来解决问题了。
2023-10-19 22:29:03
1306
原创 为什么学不完Linux? 基于自身的行为轨迹分析
2.一边看视频一边写笔记,一边跟老师敲代码。3.总是控制不住去群里聊天。我下班了哈哈哈哈哈哈哈哈。这个b班就到此为止吧。
2023-10-18 23:54:56
88
5
转载 什么是黑盒测试白盒测试?以及它们的区别
也称为结构测试,主要用于检测软件编码过程中的错误。程序员的编程经验、对软件的掌握程度、工作状态等因素都会影响到编程质量,导致代码错误。又称为功能测试,主要检测软件的每一个功能是否能够正常使用。在测试过程中,将程序看成不能打开的黑盒子,不考虑程序内部结构和特性的基础上通过程序接口进行测试,检查程序功能是否按照设计需求以及说明书的规定能够正常打开使用。
2023-10-16 22:10:43
347
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人