- 博客(70)
- 收藏
- 关注
RSS订阅原创 最新【C C++内功心法】剖析编译链接的过程(1)，面试资料分享
我们添加一行宏定义。然后再对test.c文件进行预处理后，进入test.i文件观察。这时就可以观察到刚刚定义的Max被替换掉了。
2024-05-16 06:59:10
946
原创 头条二面Kafka面经总结：搞懂Kafka的这个问题，你离大厂就不远了！！
看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。
2024-05-15 22:12:22
686
原创 头条二面Kafka面经总结：搞懂Kafka的这个问题，你离大厂就不远了！！(2)
看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。
2024-05-15 22:11:49
781
原创 头条二面Kafka面经总结：搞懂Kafka的这个问题，你离大厂就不远了！！(1)
如果你想进大厂，想升职加薪，或者对自己现有的工作比较迷茫，都可以私信我交流，希望我的一些经历能够帮助到大家~~高并发场景下一种比读写锁更快的锁，看完我彻底折服了！！全网最全性能优化总结！！三天撸完了MyBatis，各位随便问！！奉劝那些刚参加工作的学弟学妹们：要想进大厂，这些核心技能是你必须要掌握的！完整学习路线！！奉劝那些刚参加工作的学弟学妹们：这些计算机与操作系统基础知识越早知道越好！万字长文太顶了！！！我是全网最硬核的高并发编程作者，优快云最值得关注的博主，大家同意吗？
2024-05-15 22:11:17
847
原创 大话数据结构—顺序表、有序表、线性索引查找_大话数据结构顺序表代码
有序表查找的三种方法中，二分进行加法与除法运算，插值查找进行复杂的四则运算，而斐波那契查找只是进行最简单加减法运算，在海量数据的查找过程中，这种细微的差别可能会影响最终的查找效率。二分基础上修改，low+1/2(high-low)中1/2–>(key-a[low])/(a[high]-a[low])（插值公式）顺序查找（针对静态查找表），也叫线性查找O(n)，从头开始遍历，直到最后一个记录。根据要查找的关键字key与查找表中最大最小记录的关键字比较后的查找方法。Lb为查找索引表的平均查找长度。
2024-05-15 22:10:44
913
原创 大数据时代，听阿里P8为你解读20个大数据热词，助你尽情徜徉大数据时代(2)
因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。分布式架构是分布式计算技术的应用和工具，目前成熟的技术包括J2EE, CORBA和.NET(DCOM)，这些技术牵扯的内容非常广，相关的书籍也非常多，本文不介绍这些技术的内容，也没有涉及这些技术的细节，只是从各种分布式系统平台产生的背景和在软件开发中应用的情况来探讨它们的主要异同。
2024-05-15 11:29:55
443
原创 大数据时代，听阿里P8为你解读20个大数据热词，助你尽情徜徉大数据时代(1)
因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。分布式架构是分布式计算技术的应用和工具，目前成熟的技术包括J2EE, CORBA和.NET(DCOM)，这些技术牵扯的内容非常广，相关的书籍也非常多，本文不介绍这些技术的内容，也没有涉及这些技术的细节，只是从各种分布式系统平台产生的背景和在软件开发中应用的情况来探讨它们的主要异同。
2024-05-15 11:29:19
502
原创 大数据时代使用Python做数据分析有什么优势_python作为大数据分析处理工具的优点(2)
看了这么多Python在使用数据分析时的优势，大家心动了吗？心动不如行动，现在就开始学习Python吧~掌握了这一个利器，大家就可以下数据的海洋里游刃有余的遨游。
2024-05-15 11:28:07
404
原创 【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢(1)
⚫ 客户端与数据节点的交互是通过来实现的。在设计上，名称节点不会主动发起RPC，而是响应来自客户端和数据节点的RPC请求。在客户端可以使用shell或是JavaApi进行HDFS的简单操作。
2024-05-15 02:51:17
1152
原创 【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用
场景一：job的operator变化（sql修改），checkpoint无法自动恢复，savepoint恢复机制无法满足，比如增加group by 和 join。场景二：用户state生命周期（ttl）设置过小可能会导致一些长周期业务数据到期join不到丢失，retract 时产生NPE报错等。设置过大，资源消耗大。TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。架构的亮点：connector 实现了离线计算的数据和实时计算的互通。
2024-05-15 02:50:41
372
原创 【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用(1)
场景一：job的operator变化（sql修改），checkpoint无法自动恢复，savepoint恢复机制无法满足，比如增加group by 和 join。场景二：用户state生命周期（ttl）设置过小可能会导致一些长周期业务数据到期join不到丢失，retract 时产生NPE报错等。设置过大，资源消耗大。TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。架构的亮点：connector 实现了离线计算的数据和实时计算的互通。
2024-05-15 02:50:05
410
原创 【实时数仓篇】（03）菜鸟物流利用 Flink 实现实时超时统计场景_flink发货超时监控
在小破站看了晨蕊关于Flink的分享视频，这篇博客主要对这次分享的一些知识点做些整理。看大佬，人美技术牛！
2024-05-15 02:49:29
661
原创 Kibana中使用Dev Tools控制台创建索index索引同时添加date类型的时间参数（用于根据时间序列展示数据）_kibana创建index
每个人都有惰性，但不断学习是好好生活的根本，共勉！
2024-05-14 17:29:36
851
原创 Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB（作业）开发_kettle每10秒执行一次job
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！配置转换这里选择作业中要执行的转换，此处选择之前开发好的excel_to_mysql.ktr即可。1.将核心对象中，通用文件夹下的 Start 组件拖拽到中间的空白区域。点击播放箭头启动作业，并观察数据库中的数据是否会5秒钟增加一次。2.将 通用文件夹的「转换」组件拖拽到中间的空白区域。3.将通用文件夹中的「成功」组件拖拽到中间的空白区域。
2024-05-14 17:29:00
264
原创 Kafka指定分区消费及consumer-id,client-id相关概念解析_kafka clientid
在最近使用Kafka过程中，发现使用@KafkaListener指定分区消费时（指定了所有分区），如果服务是多节点，会出现重复消费的现象，即两个服务节点中的消费者均会消费到相同信息，这与消费者组中只有一个消费者可以消费到消息的规则不相符，于是花时间找了找原因Consumer 机制小龙虾你抓不到(上面博主的专栏)Kafka的assign和subscribe订阅模式使用kafka-consumer-group.sh查看消息消费情况，CONSUMER-ID，HOST，CLIENT-ID不显示问题分析。
2024-05-14 17:28:24
830
原创 Kafka指定分区消费及consumer-id,client-id相关概念解析_kafka clientid(2)
查看kafka的server.log文件发现确实是在日志中起到标识作用的实际上是consumer-id,而并不是client-id,而client-id相当于只是consumer-id的一部分,但是由于consumer-id对使用者来说是不可见的,用户能够配置的只是consumer-id的前缀,即client-id,所以官方的解释本质上来说并没有太大问题。这样做的目的是通过允许在服务器端请求日志中包含逻辑应用程序名称，能够跟踪不仅仅是ip/端口的请求源。至于client-id的作用,官方给出的描述如下。
2024-05-14 17:27:47
734
原创 2024年最新Elasticsearch学习-索引操作及Mapping映射_es建索引建mapping(2)，非科班程序员求职经历分享
一个索引包含一个多个分片，7.0之前默认五个主分片，每个主分片一个副本，在7.0之后默认一个主分片，副本可以在索引创建之后修改数量，但是主分片的数量一旦确定不可修改。设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合。index： 是否对当前字段创建倒排索引，默认为true，若为false，该字段不会通过索引被搜索到，但是仍会在source元数据中展示。
2024-05-14 08:50:59
513
原创 2024年最新ElasticSearch8 - 基础概念和映射，大厂面试必备
写这篇东西，是因为官方文档看着太痛苦，于是乎想用大白话来聊聊 ElasticSearc (下面都简称ES)。所以下文对于 ES 一些概念的表述可能会与官方有出入，所以需要准确的表述和详细定义的，请跳转官方文档。我也尽量贴上官方的链接。前置知识：因为下文会使用 mysql 的一些概念来描述，所以没学过的不建议看文本。本文基于 ES 8.12。
2024-05-14 08:50:23
329
原创 2024年最新elasticsearch 在大数据中能实现哪些功能，2024年最新阿里后台开发
搜索，Elasticsearch提供了非常强大的搜索功能，如何写出高效的搜索语句？数据源，我们所有的数据是存放到MySQL的，MySQL是唯一数据源，如何将MySQL的数据导入到Elasticsearch？对于1和2，因为我们的数据都是从MySQL生成，index的field是固定的，主要做的工作就是根据业务场景设计好对应的mapping以及search语句就可以了，当然实际不可能这么简单，需要我们不断的调优。
2024-05-14 08:49:47
435
原创 2024年最新Elasticsearch 分组分页排序查询_elasticsearch分组查询(3)，2024年最新面试必会
基于es聚合函数bucket_sort、terms和指标聚合cardinality实现。
2024-05-14 08:49:10
500
原创 2024年大数据最新【开源SPL】列存数据仓库怎样更高效_spl 开源，2024年最新系列教学
我们还可以进行数据类型的优化，比如将字符串、日期等转换为适当的数值编码。如果把地区、性别字段都转换为小整数编号，字段值的长度就一样了。这时，可以选择重复情况更多的字段排到前面。例如性别只有两个枚举值，而地区则相对较多。所以各条记录中，性别重复的会更多，先性别、后地区排序所占用空间通常会更小。开源数据计算引擎SPL提供的列存方案，就实现了这种压缩算法。把有序数据追加进SPL的组表时，默认会自动执行上述方法，只记录一次值和重复计数。
2024-05-14 00:11:15
758
原创 2024年大数据最新【大数据】Mac下安装hadoop-scala-spark(2)，2024年最新2024大数据开发面试真题精选干货整理
(6)配置hdfs-site.xml【修改hdfs备份数】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/hdfs-site.xml => 添加配置。并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp。升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！,注意端口号是9870而不是50070。
2024-05-14 00:10:39
669
原创 2024年大数据最新【大数据】Kafka高频面试题（三）_kafka高平面试题(3)，2024年最新深入浅出大数据开发
传统的消息传递方法包括两种：队列：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人发布-订阅：在这个模型中，消息被广播给所有的用户。
2024-05-14 00:10:03
714
原创 给大家整理了几个好用的远程软件真实测评，大学生和打工人必备~用好远程，效率翻倍【建议收藏】_远程软件哪个好用
向日葵也同样，针对不同的账户提供了不同等级的连接质量选择，如果是免费账户，就只能享受位于苏州的电信机房，所以在操作的时候网络延迟明显，而且很容易出现连接失败的情况，需要尝试多次。在同一个网络环境下，todesk算是这4款软件中连接速度最快的，并且在测试文档操作或者是网页浏览、观看视频、玩游戏等场景时，网络整体呈现都很稳定，没有出现过中途掉线的情况。如果是付费的账户，则可以使用 BGP 云服务器机房，对于网络的优化会有比较明显的改善，对于高难度的远程操作也能很好的支持，但必须购买高价版本，入门版本依旧限速。
2024-05-12 21:06:04
1055
原创 给大家整理了几个好用的远程软件真实测评，大学生和打工人必备~用好远程，效率翻倍【建议收藏】_远程软件哪个好用(4)
向日葵也同样，针对不同的账户提供了不同等级的连接质量选择，如果是免费账户，就只能享受位于苏州的电信机房，所以在操作的时候网络延迟明显，而且很容易出现连接失败的情况，需要尝试多次。在同一个网络环境下，todesk算是这4款软件中连接速度最快的，并且在测试文档操作或者是网页浏览、观看视频、玩游戏等场景时，网络整体呈现都很稳定，没有出现过中途掉线的情况。如果是付费的账户，则可以使用 BGP 云服务器机房，对于网络的优化会有比较明显的改善，对于高难度的远程操作也能很好的支持，但必须购买高价版本，入门版本依旧限速。
2024-05-12 21:05:28
418
原创 给大家整理了几个好用的远程软件真实测评，大学生和打工人必备~用好远程，效率翻倍【建议收藏】_远程软件哪个好用(3)
向日葵也同样，针对不同的账户提供了不同等级的连接质量选择，如果是免费账户，就只能享受位于苏州的电信机房，所以在操作的时候网络延迟明显，而且很容易出现连接失败的情况，需要尝试多次。在同一个网络环境下，todesk算是这4款软件中连接速度最快的，并且在测试文档操作或者是网页浏览、观看视频、玩游戏等场景时，网络整体呈现都很稳定，没有出现过中途掉线的情况。如果是付费的账户，则可以使用 BGP 云服务器机房，对于网络的优化会有比较明显的改善，对于高难度的远程操作也能很好的支持，但必须购买高价版本，入门版本依旧限速。
2024-05-12 21:04:52
743
原创 给大家整理了几个好用的远程软件真实测评，大学生和打工人必备~用好远程，效率翻倍【建议收藏】_远程软件哪个好用(2)
考察远程控制软件对于各大平台的支持情况当然是软件测试的前提。Windows、MacOS和Linux作为主流的系统，测评的这些远程软件自然是都能支持的。并且anydesk主控端甚至能支持网页版，但功能受限，如果长期使用的话，还是建议下载客户端使用。本次没有选择teamviewer作为测评对象，由于本人电脑被软件判断商用行为，购买会员需要2000多元年费，因此作罢。
2024-05-12 21:04:05
1081
原创 实战项目-Java实现自动贩卖机 售货机【完整版】_编写一个自动售货机的程序
自动售货机是我们日常生活中常见的简单销售系统，通过程序实现无人售卖的功能，方便了大家的日常生活。本项目基于Java技术，开发了一个模拟自动售货机功能的程序。通过本项目的开发，达到学习和提高编程技能的目的。
2024-05-12 03:56:02
682
原创 实战项目-Java实现自动贩卖机 售货机【完整版】_编写一个自动售货机的程序(3)
习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。①顾客开始使用饮料自助售货机，进入系统主界面，用户可以根据界面提示选择是否开始购物。
2024-05-12 03:55:26
696
原创 实战项目-Java实现自动贩卖机 售货机【完整版】_编写一个自动售货机的程序(2)
自动售货机是我们日常生活中常见的简单销售系统，通过程序实现无人售卖的功能，方便了大家的日常生活。本项目基于Java技术，开发了一个模拟自动售货机功能的程序。通过本项目的开发，达到学习和提高编程技能的目的。
2024-05-12 03:54:50
544
原创 实战项目-Java实现自动贩卖机 售货机【完整版】_编写一个自动售货机的程序(1)
goods coffee = new goods(“雀巢咖啡”,5,20);goods juice = new goods(“汇源橙汁”,3,20);goods water = new goods(“农夫山泉”,2,30);goods beer = new goods(“啤酒”,3,30);int number;
2024-05-12 03:54:14
357
原创 大数据最全【开源SPL】列存数据仓库怎样更高效_spl 开源(1)，零基础学大数据开发编程
很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。特别是数据量非常大时，硬盘扫描和读取的时间占比很大，这时候列存的优势会很明显。那么，是不是只要用了列存就一定能做到性能最佳呢？我们来看看，列式存储在哪些方面还可以做的更高效。
2024-05-11 19:17:30
2085
原创 大数据最全【开卷数据结构 】指针的初步认识_锡兰cc博客，涨姿势了
指针变量的定义形式如：数据类型 * 指针名//分别定义了 int、float、char 类型的指针变量int \*x;float \*f;char \*ch;
2024-05-11 19:16:54
602
原创 大数据最全【学习笔记】HBASE 完全分布式集群搭建(1)，2024年最新大数据开发软件开发面试题
此处环境变量文件为自己在 /etc/profile.d/ 目录下创建的 dev_env.sh 文件。如果环境变量在 /etc/profile 中修改了，直接在 /etc/profile 即可。启动habse时，由于hbase依赖于hdfs和zookeeper,所以要先启动hadoop和zookeeper，然后再启动hbase。采用 scp 或者使用 xsync 脚本分发 /opt/module/hbase 至剩下的两个节点。添加集群节点主机名（ 不能有多余空格 ）
2024-05-11 19:16:18
357
原创 大数据最全【大数据计算】(一) HDFS操作方法和基础编程(1)，并发编程挑战
A. 函数UploadFile()向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；C. 在本地Download文件夹中创建文本文件 localfile.txt ，在main函数中编写逻辑实现将其上传到hdfs的input文件夹中；B. 函数DownloadFile()从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；
2024-05-11 19:15:42
396
原创 一杯茶的时间，带你彻底学会手写防抖节流_手写防抖节流函数,实现倒计时功能
addOnesetTimeout2ssetTimeoutdebouncesetTimeoutaddOne()thisthisWindowapplythisarguments这样我们的防抖函数就手写完成了，看起来其实也并不难。总而言之防抖就是在不断的操作中（输入、点击等）。
2024-05-11 05:21:41
998
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人