- 博客(291)
- 收藏
- 关注
RSS订阅原创 面试官：熟悉Redis？请讲讲Redis缓存穿透、缓存击穿、缓存雪崩有什么区别_为什么redis缓存穿透与缓存雪崩的区别(1)
key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。通俗的说：Redis中的某个key失效了，大量的请求都在使用这个过期的key，导致无法命中Redis中的缓存数据，压力都给到了服务器查询源数据库，最终源数据库承受不了瞬时剧增的请求，然后崩溃。现象数据库访问的压力突然急剧增大Redis中并没有出现大量的key失效Redis服务器平稳运行数据库崩溃缓存击穿怎么产生？
2024-05-16 13:15:47
518
原创 面试官：什么是Netty粘包拆包？怎么解决Netty粘包拆包问题_netty传输文件怎么拆包粘包
我：粘包和拆包是在进行TCP数据传输的时候所造成的一种现象。因为TCP是一个流协议，他发送的数据是一个没有界限的长串的二进制数据，TCP在发送数据之前会将数据放入缓存区。如果缓存区没有满，就会把多个数据都放入缓存区，然后共同发送出去，这就叫粘包。如果一条数据缓存区就放不下，那么就需要将数据分为多次发送出去，这就叫拆包。
2024-05-16 13:15:14
549
原创 面试前端数组去重，我会问这3个小问题_什么场合下需要使用数组去重
注意，因为每个人的博客或者是一个写作历程，必定是一个长时间发生的过程，所以数据一定是不定量的，可能还带有分页，所以服务端不可能预先将数据整理成前端需要的样子，所以这个时候，数据中的年月日部分便成了重复的需要去重的部分，去重后用于本案例汇总点的显示。一般得到的回答也是当然常用啊，（可能他还想说，我必须常用啊，我天天用，一直用，就在刚才我准备面试的时候，还看了看数组去重的几种实现方法呢）。他略微沉思了一下，没有说话，然后不太好意思的说：有一次服务端返回的一个数组，里面多条含有重复数据，我就用到了数组去重。
2024-05-16 13:14:42
418
原创 面试前端数组去重，我会问这3个小问题_什么场合下需要使用数组去重(1)
在问题数组去重之前，我会礼貌的问一下，数组去重你常用吗？一般得到的回答也是当然常用啊，（可能他还想说，我必须常用啊，我天天用，一直用，就在刚才我准备面试的时候，还看了看数组去重的几种实现方法呢）。然后我就问了一下：请你说一下数组去重的项目场景。他略微沉思了一下，没有说话，然后不太好意思的说：有一次服务端返回的一个数组，里面多条含有重复数据，我就用到了数组去重。我问：可以说一下大概的场景吗，不用说的太细。后来他没有理我。我这里说两个会用到数组去重的场景吧。
2024-05-16 13:14:09
358
原创 最新本地项目如何上传到Gitlab详细过程步骤_gitlab上传本地项目，已有千人收藏
场景介绍：大家在团队开发及一些代码需要进行备份（防止被删之后找不到的情况下）这时候就需要将你的项目上传到Gitlab上，这个教程肯定对你有用。
2024-05-16 09:33:37
915
原创 最新最近Python那么火，学习Python究竟能干些什么？，2024年最新网易架构师深入讲解大数据开发开发
我对大数据分析、人工智能中至关重要的机器学习、深度学习都提供了大力的支持。我背后有最最庞大的“代码库”。人们习惯称我为“胶水语言”。Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。
2024-05-16 09:33:04
359
原创 最新时序分析、时序约束和时序收敛（3）--基础概念（下，大数据开发面试总结
搞明白了这些概念，那么静态时序分析其实也就很简单了。上文出现了很多的公式，看起来有点晦涩难懂，但是没关系，这些公示实际上仅仅是起到一个辅助理解时序分析的作用，并不需要去记忆，更也不需要熟练掌握这些公式来生搬硬套时序分析。因为现在的综合工具已经足够智能了，你只需要提出时序约束的要求，综合工具vivado自然会对这些路径一一进行计算，你所要做的仅仅是找到时序裕量为负的路径并想办法改善即可。此外，通过对上面公式的分析，可以让我们更好的了解静态时序分析的本质。
2024-05-16 09:32:31
299
原创 最新无痕修复：优雅修改本地及远程Commit信息，保持项目历史整洁，2024年最新【秋招面试专题解析
或请确保在执行强制推送操作前，与你的团队成员沟通，告知他们你将修改最近的提交，以避免产生不必要的冲突或丢失他人的工作。在多人协作的项目中，修改已公开的历史提交通常应尽量避免，除非确实必要且团队成员达成共识。
2024-05-16 09:31:57
301
原创 最全Hive面试题汇总(1)，2024年最新一个大数据开发程序员的面试心得
Hive是建立在 Hadoop 上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。属于hadoop生态圈 依赖jdk，hadoop。
2024-05-16 01:44:40
362
原创 最全hive语法树分析，判断 sql语句中有没有select (3)，2024年最新2024年阿里+腾讯+快手offer都已拿到
来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
2024-05-16 01:44:08
739
原创 最全hive表通过元数据新增字段(3)，2024年最新大厂经典高频面试题体系化集合
观察存储信息表的数据可以发现，存储信息表由sd_id作为主键，但对于同一表字段结构的分区来说，cd_id也是这张表这些分区在存储信息表中的共同主键。【注意，有些表，不同分区表字段的结构不一样，所以对应的cd_id也是不一样的】但如果为分区表新增字段时，未加cascade关键字，那么可能导致表历史分区用的是历史的字段结构，新产生的分区才用最新的字段结构。我们在字段信息表中，查找出对应cd_id的最大integer_idx值，也就是表最后一个字段的序号。将新增的字段信息插入到字段信息表中，表字段就成功加上了。
2024-05-16 01:43:35
708
原创 最全Hive数据仓库笔记(1)，还有人不知道什么是大数据开发X的吗
MetaStoreHive 将元数据存储在关系型数据库中，比如 MySQL、Derby等。Hive 中的元数据包括表的名字、表的列和分区及其属性，表的属性（是否为外部表等）、表的数据所在目录等等ThriftServer 是将 Hive 作为一个服务器，其他机器可以作为客户端进行访问，可以使用多种编程语言【Java、Python 】通过代码操作 Hive。Driver。
2024-05-16 01:43:02
768
原创 大数据最全＜C++＞内存分区模型，2024年最新卧槽
的，共享的目的是对于频繁被执行的程序，只需要在内存中有一份代码即可。在程序编译后，生成了exe可执行程序，未执行该程序前分为两个区域。注意事项：不要返回局部变量的地址，栈区开辟的数据由编译器自动释放。不同区域存放的数据，赋予不同的生命周期, 给我们更大的灵活编程。全局区还包含了常量区, 字符串常量和其他常量也存放在此.常量区中存放 const修饰的全局常量 和 字符串常量。的，使其只读的原因是防止程序意外地修改了它的指令。C++程序在执行时，将内存划分为4个区域。该区域的数据在程序结束后由操作系统释放。
2024-05-15 16:58:04
439
原创 大数据最全（二）大数据---Hadoop组件介绍，区别(1)，大数据开发实习面试经验汇总
即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。是一个提供交互数据分析且基于Web的笔记本。
2024-05-15 16:57:31
279
原创 大数据最全黑客大数据，你想知道的这里都有！，2024年最新终局之战
上95%的人员也都是男性。经济收益无疑起着重要作用。然而，好奇心是永远不变的源动力，有些黑客只是为了“好玩”。HackerOne，白帽黑客中80%的人是自学成才，越来越多的黑客来自技术以外的行业，让漏洞挖掘的领域充满活力。40%的人每周花费20多个小时寻找漏洞。81%的黑客将网络资源和博客作为主要的学习途径，只有6%的黑客完成了正规课堂或证书培训。
2024-05-15 16:56:58
235
原创 大数据最全【Hadoop】Hadoop概述与核心组件，渣本二面阿里受挫
高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。高容错性：能够自动将失败的任务重新分配。
2024-05-15 14:11:24
1042
原创 大数据最全【Hadoop】Hadoop 编译源码，2024年最新大数据开发开发谈
小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-15 14:10:51
1097
原创 大数据最全【Go语言刷题篇】Go从0到入门1：输出、变量，我浪费了自己职业生涯的黄金5年
题目要求：已知小明的信息（姓名：小明，年龄：23，性别：男），定义三个变量，分别表示姓名（string类型），年龄（int类型），性别（男true,女false,bool类型），然后按照姓名，年龄，性别的顺序，逐行输出对应的信息。相关知识：1、Go 语言变量名由字母、数字、下划线组成，其中首个字符不能为数字。2、string,int,bool 都是基本数据类型。3、Go语言声明变量的时候为其指定初始值,格式如下：var 变量名 类型 = 表达式。
2024-05-15 14:10:18
889
原创 大数据最全【Git企业开发】第四节(1)，阿里内部核心大数据开发进阶手册
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走
2024-05-15 14:09:45
702
原创 一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战(2)
变换后的目标函数可以被二阶泰勒展开，使得目标函数在每个节点的损失函数可以被表示为关于该节点预测值的二次函数，这样可以在计算最优分裂点时，使用牛顿法或拟牛顿法等高效的优化算法来求解。变换后的目标函数可以解决梯度爆炸和梯度消失问题，这是由于使用指数函数和对数函数进行变换，将目标函数的值范围映射到了一个合适的区间，从而避免了数值溢出和数值不稳定的情况。变换后的目标函数可以解决分类问题的类别不平衡问题，这是由于在分类问题中，负样本数量通常远大于正样本数量，导致算法容易偏向于负样本。
2024-05-15 05:41:12
930
原创 一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战(1)
这里不再复述，仅讲XGBoost改动，我们知道单独的使用GBDT模型，容易出现过拟合，在实际应用中往往使用 GBDT＋LR的方式做模型训练。一般情况下，我们的树模型越深越茂密那么复杂度越高，或者叶子节点值越大模型复杂度越高。在XGBoost算法的实现中，是采用下式来衡量模型复杂度的：其中代表叶子节点个数，:各个叶子节点值的求和，：超参数，控制惩罚程度。那么我们将原目标函数的和给取代掉：那么此时我们定义在叶子结点中的实例的集合为：计算损失函数时是以样本索引来遍历的。
2024-05-15 05:40:35
1119
原创 一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事(2)
Spring Boot 本身发展特别快，自从 2014 年 4 月发布 Spring Boot 1.0 之后，版本更新非常频繁，我在 2016 年使用的时候是 1.3.X，到现在 Spring Boot 已经发布了 Spring Boot 2.0，Spring Boot 2.0 集成了很多最新优秀的技术和新特性，并且对 Spring Boot 1.0 的 API 进行了大幅优化。在微服务架构中我们强调彻底的组件化和服务化，每个微服务都可以独立的部署和投产，其实也就意味着很多的微服务有自己独立的数据库。
2024-05-15 05:39:59
788
原创 一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事(1)
Spring Boot 本身发展特别快，自从 2014 年 4 月发布 Spring Boot 1.0 之后，版本更新非常频繁，我在 2016 年使用的时候是 1.3.X，到现在 Spring Boot 已经发布了 Spring Boot 2.0，Spring Boot 2.0 集成了很多最新优秀的技术和新特性，并且对 Spring Boot 1.0 的 API 进行了大幅优化。Spring Boot 开发了很多的应用集成包，支持绝大多数开源软件，让我们以很低的成本去集成其他主流开源软件。
2024-05-15 05:39:23
824
原创 [hadoop全分布部署]虚拟机Hadoop集群配置 etc hosts、配置无密码登录（SSH）_hadoop免密登录配置过程(1)
第一台虚拟机第二台虚拟机第三台虚拟机。
2024-05-14 21:00:20
1037
原创 Zynq-7000系列FPGA使用 Video Processing Subsystem 实现图像缩放，提供工程源码和技术支持_fpga video resizer
没玩过图像缩放都不好意思说自己玩儿过FPGA，这是优快云某大佬说过的一句话，鄙人深信不疑。。。目前市面上主流的FPGA图像缩放方案如下：1：Xilinx的HLS方案，该方案简单，易于实现，但只能用于Xilinx自家的FPGA；2：非纯Verilog方案，大部分代码使用Verilog实现，但中间的fifo或ram等使用了IP，导致移植性变差，难以在Xilinx、Altera和国产FPGA之间自由移植；3：纯Verilog方案；
2024-05-14 20:59:44
667
原创 Zookeeper：实现“分布式锁”的 Demo_zookeeper实现分布式锁demo(3)
Zookeeper 能保证数据的强一致性，用户任何时候都可以相信集群中每个节点的数据都是相同的。一个用户创建一个节点作为锁，另一个用户检测该节点，如果存在，代表别的用户已经锁住，如果不存在，则可以创建一个节点，代表拥有一个锁。
2024-05-14 20:59:08
348
原创 Zookeeper：实现“分布式锁”的 Demo_zookeeper实现分布式锁demo(2)
分布式锁本质，就是多个资源竞争者对一份资源的排他占有。
2024-05-14 20:58:32
183
原创 2024年最新大数据入门-三分钟读懂Hadoop(2)，2024年最新面试阿里
保证你的数据是错误的，现实生活中错误是没有办法避免的，我们唯有每天自省，每天反思，才能避免少犯错误或者不犯错误。第三，Hadoop的机器是可以动态的移动数据，这就是啥呢，这就是互帮互助，在现实生活中，你负担大了，我可以帮助你，你可以帮助我。这种帮助机制是有自己的调度资源的。**高扩展性：**Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。第二，Hadoop是可以扩展的，就是说我们一台机器不够用了，可以再加一台，流程不是很复杂，简单的写几条命令就可以了。
2024-05-14 11:41:08
280
原创 2024年最新大数据—— Scala 知识点整理_def addx = add(1, int, int)(1)，附带学习经验
Scala中的模式匹配类似于Java中的switch语法，但是更加强大。模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。Scala 的模式匹配包括了一系列的备选项，每个替代项以关键字大小写为单位，每个替代方案包括一个模式或多个表达式，如果匹配将进行计算，箭头符号 => 将模式与表达式分离。，并且返回接受余下的参数且返回结果的新函数的技术。
2024-05-14 11:40:32
437
原创 2024年最新大数据StarRocks(五) ：数据类型_starrocks 数据类型(1)，2024年最新字节跳动大数据开发开发面试题
您在建表时可以指定以下类型的列，向表中导入该类型的数据并查询数据。
2024-05-14 11:39:56
331
原创 2024年最新大数据StarRocks(九)：资源隔离实战_starrocks资源组，2024年最新看完这篇彻底明白了
以上实战足以证明mem_limit是基础的内存限制，而big_query_mem_limit是对查询内存进行进一步限制，若big_query_mem_limit和mem_limit相等，big_query_mem_limit设置限制相当于无效；因此big_query_mem_limit小于mem_limit时，对大内存查询进一步限制才有意义。系统将会根据所有分类器中设置的条件，为每个查询任务选择一个匹配度最高的分类器，并根据生效的分类器所属的资源组为该查询任务分配资源。创建资源组，关联分类器，并分配资源。
2024-05-14 11:39:19
454
原创 2024年怎样提高报表呈现的性能_di报表怎么提升呈现(1)，2024年最新重磅消息
解决这个问题之前，我们得先理清楚问题的根源，是什么导致了报表的性能问题，找到根源，我们才能对症下药，才能治本。
2024-05-14 03:01:52
619
原创 2024年快速排序图解（两种思想）_如何找出数组的分区点(3)，2024年最新深入理解大数据动画原理
开发与算法学习社区Killing Vibe的博客欢迎大家加入，一起交流学习~~
2024-05-14 03:01:16
931
原创 2024年微服务项目：尚融宝（52）（核心业务流程，2024年最新2024春招面试
【代码】2024年微服务项目：尚融宝（52）（核心业务流程，2024年最新2024春招面试。
2024-05-14 03:00:40
271
原创 2024年大数据最全Stream之JDK8-最全使用汇总V1(2)，京东最新大数据开发面试真题解析
System.out.println(“list求和：” + sum.get() + “,” + sum2.get() + “,” + sum3);System.out.println(“list求和：” + max.get() + “,” + max2);System.out.println(“list求积：” + product.get());System.out.println(“每个元素+3：” + intListNew);System.out.println(“处理前的集合：” + list);
2024-05-13 18:15:17
846
原创 2024年大数据最全SPL工业智能：发现时序数据的异常_工业时序数据分析，大数据开发开发基础机构
这样数据过大或者过小的异常就可以被发现了。但是这种方法不一定能发现变化过快的异常数据，如下图：上述方法可以发现(b)©中的异常，但对于(d)中的异常就无能为力了，那该如何发现呢？(d)中的情况就是变化过快，我们来看看能否用“变化快慢”这个数学量来发现异常。上图中曲线C就是“变化快慢”曲线，他是利用原值X衍生得到的，用刚才介绍的方法对C来发现异常即可发现变化过快这类异常。由此看来，。
2024-05-13 18:14:41
1060
原创 2024年大数据最全Scala入门基础，2024年最新面试复盘
数组是一种存储了相同类型元素的固定大小的顺序集合。type或例如，声明一个不可变数组array1，长度是3，并为每个元素设置值。多维数组一个数组中的值可以是另一个数组，另一个数组的值也可以是一个数组。定义一个包含3个数组的二维数组。Array[Int]下面定义一个 3行的二维数组mdarr。直接定义一个3行3列的二维数组madrr1。定义函数def functionName (参数列表) : [return type] = {}例如，定义一个函数add，返回两个整型数据之和。
2024-05-13 18:13:28
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人