- 博客(215)
- 收藏
- 关注
RSS订阅原创 算法竞赛入门【码蹄集新手村600题】(MT1351-1400）_马蹄级考试题(1)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取（2）参考代码2. MT1352 埃拉托色尼筛选法（1）题目描述输入正整数N(
2024-05-16 11:58:49
511
原创 简单的kafka和flink实现实时计算引擎处理数据_kettle+flink+kafkaf能否实现实时
public static final String broker_list = “ip(换成自己的):9092”;知识点，真正体系化！
2024-05-16 11:58:15
434
原创 简单的kafka和flink实现实时计算引擎处理数据_kettle+flink+kafkaf能否实现实时(3)
public static final String broker_list = “ip(换成自己的):9092”;public static final String broker_list = “ip(换成自己的):9092”;知识点，真正体系化！1.6 启动flink。1.5 启动zk集群。
2024-05-16 11:57:42
589
原创 简单的kafka和flink实现实时计算引擎处理数据_kettle+flink+kafkaf能否实现实时(2)
public static final String broker_list = “ip(换成自己的):9092”;
2024-05-16 11:57:10
368
原创 最全大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day06】—，手慢无
所有副本 = ISR + OSR–表示正在同步的副本 =》 可用副本分区–如果Leader故障，会从ISR中选举一个新的leader网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-05-16 04:10:44
405
原创 最全大数据平台测试-我是怎么面试高级测试的(2)，2024年最新大数据开发大厂高频面试题解析
UI 自动化方面除了常问的元素定位方式、PO 模式外，还需要准备更多，比如框架的分层设计、日志如何存储，报告如何管理，测试数据怎么构造，失败重试机制，driver 统一调度等等问题，这些需要在实际的设计过程中逐一其思考解决。6. 常用命令的组合和管道操作：熟悉常用的Shell命令，如grep、sed、awk等，学会结合它们使用，通过管道操作实现更复杂的功能。3. 文本操作：cat/tac、head/tail、wc、cut、sort、uniq、grep、awk、sed。
2024-05-16 04:10:11
542
原创 最全大数据平台架构浅析——以讯飞大数据平台Odeon为例(5)，大数据开发零基础入门
Phoenix是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在Phoenix之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。Phoenix的理念是，即你可以。同时这也意味着你可以通过集成或Mybatis等常用的持久层框架来操作 HBase。其次Phoenix的性能表现也非常优异，Phoenix。
2024-05-16 04:09:38
695
原创 最全大数据存储技术之ClickHouse入门学习（一）(2)，2024年最新2024我是如何拿到小米、京东、字节的offer
在 limits.conf 和 20-nproc.conf 文件末尾添加一下代码查看修改ulimit -aSecurity-Enhanced Linux（SELINUX）是提供访问控制安全策略的机制或安全模块，用于将用户限制为系统管理员设置的某些政策和规则。unixODBC三、ClickHouse安装将ClickHouse的最新版本赋给变量LATEST_VERSION，但这里发现21.10.1.8013版本还没有提供。
2024-05-16 04:09:05
955
原创 大数据最新【项目精选】javaEE健康管理系统（论文+开题报告(4)，2024年最新腾讯大数据开发开发面试凉凉
后台：http://localhost:8080/Healthy_manager/back_login.jsp。人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！前台：http://localhost:8080/Healthy_manager。用户可以记录自己健康日记，记录每一天的睡眠，饮酒，吸烟，血压，体重等情况。管理员管理教师功能：可以增删改查教师基本信息。管理员管理体检结果：可以增删改查教师体检记录。管理员用户登录功能：通过账号登录系统。
2024-05-15 19:22:42
371
原创 大数据最新【面试题】前端开发中如何高效渲染大数据量？(1)，价值2000元的大数据开发学习资源泄露
我们是在解决sql 最大运行行数问题时，发现了上述需要进行性能优化的场景。selectDataselectData为了保证结果最终的展示顺序和 select 语句顺序一致，我们为单纯的 sqlIdList 循环方法加上了 Promise.allsettled 的方法，使得 n 个 selectData 的请求顺序和 select 语句顺序一致。由上述逻辑可以看出，问题可能出现在如果选中的 sql 中有大量 select 语句的话，会在「整段运行」完成后大批量请求selectData接口，再等待所有。
2024-05-15 19:22:09
408
原创 大数据最新【详解】手撕 一维、二维、三维差分数组原理，2024年最新隔壁都馋哭了
（1）操作：进行 m 次区间修改，每次修改对这段区间【L，R】内的所有元素做相同的加减操作。（2）操作：查询某个元素的值是多少对于这个原数组 a[ ] = {a1，a2，a3，···，an}，我们构造出这样一个数组 B[ ] = {b1，b2，b3，···，bn}，使得 ai = b1 + b2 + ··· + bi，那么b[ ] 就称为 a[ ] 的差分，a[ ] 称为 b[ ] 的前缀和。可以发现，差分与前缀和是一组逆运算。根据定义，差分数组b[ x ]的前缀和就是原数组a[x]的值。
2024-05-15 19:21:36
324
原创 大数据最新【详解】手撕 一维、二维、三维差分数组原理(2)，2024年最新程序员面试防坑宝典
S(t)=a[t]+n=1∑∞(−1)(n−1)S([t−1]的组合形式)，n 为−1的个数。围成的矩阵中，所有的b[ ][ ]相加等于a[ i ][ j ]。在二维差分中，a[ ][ ]是差分数组b[ ][ ]的前缀和，即将原点坐标。的前缀和，即原点坐标 (1，1)和 坐标(i，j)围成的矩阵面积。把每个a[][] 看成总面积，把每个b[][]看成小格子的面积。把每个a[][]看成总面积，把每个b[][]看成小格子的面积。为了抵御攻击，地球人派出了。所围成的范围内，所有小格子加起来的总面积，等于。
2024-05-15 19:21:03
395
原创 助力工业物联网，工业大数据之服务域：可视化工具Grafana介绍【三十八】_grafana 集成到 wpf项目
项目所需工具:链接：https://pan.baidu.com/s/1sIa8nninf2Fz6YqE3vUpqQ?pwd=5wr3提取码：5wr3–来自百度网盘超级会员V4的分享目标了解Grafana的功能及特点路径step1：功能step2：特点实施功能：Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知特点展示方式多样。
2024-05-15 08:22:45
935
原创 助力工业物联网，工业大数据之服务域：可视化工具Grafana介绍【三十八】_grafana 集成到 wpf项目(1)
实现Grafana集成Prometheus。
2024-05-15 08:22:10
702
原创 助力工业物联网，工业大数据之服务域：Shell调度测试【三十三】_shell调度系统
(img-7p9tVkqQ-1715732471611)](img-VY9jgFba-1715732471611)]：使用BashOperator调度执行多个Task，并构建依赖关系。：参考《oracle任务调度详细操作文档.md》step2：安装AirFlow集成MySQL库。：《MySQL任务调度详细操作文档.md》：了解Oracle与MySQL的调度方法。：调度Python代码Task的运行。step1：本地安装MySQL客户端。：实现AirFlow的依赖调度测试。step3：创建MySQL连接。
2024-05-15 08:21:34
739
原创 助力工业物联网，工业大数据之服务域：Shell调度测试【三十三】_shell调度系统(3)
(img-hN6oRedZ-1715732435139)](img-bcyPGgRl-1715732435139)]：使用BashOperator调度执行多个Task，并构建依赖关系。：调度Python代码Task的运行。：实现AirFlow的依赖调度测试。
2024-05-15 08:20:57
610
原创 【Kafka】（二十四）轻量级流计算 Kafka Streams 实践总结_轻量级流式计算处理(3)
Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。
2024-05-14 23:41:26
1104
原创 【Kafka】（二十四）轻量级流计算 Kafka Streams 实践总结_轻量级流式计算处理(2)
Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。
2024-05-14 23:40:49
889
原创 【Kafka】（二十四）轻量级流计算 Kafka Streams 实践总结_轻量级流式计算处理(1)
而 Spark Streaming 基于 Apache Spark，可以非常方便与图计算， SQL 处理等集成，功能强大，对于熟悉其它 Spark 应用开发的用户而言使用门槛低。第一，Spark 和 Storm 都是流式处理框架，而 Kafka Streams 提供的是一个基于 Kafka 的 流式处理类库。第四，使用 Storm 或 Spark Streaming 时，需要为框架本身的进程预留资源，如 Storm 的 supervisor 和 Spark on YARN 的 node manager。
2024-05-14 23:40:13
800
原创 【Kafka】微服务学习笔记九：什么是消息中间件&；Kafka的介绍及使用_微服务用哪些中间件
生产者发送消息，多个消费者订阅同一个主题，只能有一个消费者收到消息（一对一）生产者发送消息，多个消费者订阅同一个主题，所有消费者都能收到消息（一对多）
2024-05-14 23:39:36
903
原创 Android Spider Frida-Dexdump 脱壳工具下载使用以及相关技术介绍_frida-dexdump下载(2)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！一个人可以走的很快，但一群人才能走的更远！
2024-05-14 14:21:40
1189
原创 Android Spider Frida-Dexdump 脱壳工具下载使用以及相关技术介绍_frida-dexdump下载(1)
4、在xxx\Python37\Scripts目录，输入：frida-dexdump -U -f com.iCitySuzhou.suzhou001，开始脱壳。3、会在xxx\frida-dexdump-2.0.1\frida_dexdump的同级目录根据app包名生产一个文件夹(包含脱壳生成的dex文件)1、解压即可使用，打开xxx\frida-dexdump-2.0.1\frida_dexdump目录，在搜索框输入cmd，进入命令窗口。1、打开需要脱壳的app，启动frida服务。
2024-05-14 14:21:04
704
原创 Android Spider Frida - App逆向 JavaScript代码注入 基本语法以及数据类型介绍_frida js
Frida可以通过将JavaScript 脚本插入到APP的内存中来对APP的逻辑进行跟踪和监视乃至修改原程序的逻辑，实现逆向开发和分析人员想要实现的功能称之为HOOK（钩子 即通过钩子机制与钩子函数建立联系）；提示：以下是本篇文章正文内容，下面案例可供参考重载(overloading) 是在一个类里面，方法名字相同，而参数不同，返回类型可以相同也可以不同；每个重载的方法（或者构造函数）都必须有一个独一无二的参数类型列表，根据参数类型以及参数的数量调用不同的同名函数(function)；
2024-05-14 14:20:28
1202
原创 Android Spider Frida - App逆向 JavaScript代码注入 基本语法以及数据类型介绍_frida js(4)
Frida可以通过将JavaScript 脚本插入到APP的内存中来对APP的逻辑进行跟踪和监视乃至修改原程序的逻辑，实现逆向开发和分析人员想要实现的功能称之为HOOK（钩子 即通过钩子机制与钩子函数建立联系）；提示：以下是本篇文章正文内容，下面案例可供参考重载(overloading) 是在一个类里面，方法名字相同，而参数不同，返回类型可以相同也可以不同；每个重载的方法（或者构造函数）都必须有一个独一无二的参数类型列表，根据参数类型以及参数的数量调用不同的同名函数(function)；
2024-05-14 14:19:51
741
原创 2024年最全【Redis五大数据类型的应用场景】(2)，2024年最新大数据开发未来路在何方
可以通过incr acticle:readcount{文章id} 实现计数器，每执行一次加一可以通过incrby orderId 1000实现分布式系统全局序列号，一次性拿1000个序列号，在redis里面加一，批量生成序列号提升性能。因为string类型是二进制安全的，可以用来存放图片，视频等内容，另外由于Redis的高性能读写功能，而string类型的value也可以是数字，可以用作计数器（INCR,DECR），比如分布式环境中统计系统的在线人数，秒杀等。
2024-05-14 05:42:58
627
原创 2024年最全【Python刷题篇】——Python入门 011面向对象(3)，大数据开发面试题集锦
础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！方法输出信息，如果没有年龄信息则输出错误信息。输出，否则使用setattr函数为其添加属性。，其中第一个为字符串，后两个为整型数字。，其中第一行为字符串，后两行为整型数字。同时该类包括一个方法。同时该类包括一个方法。根据描述输出错误信息或是打印信息。，并设置值为输入后，再调用。请为牛客网的员工创建一个。请为牛客网的员工创建一个。根据输入的年龄为实例。等于输入值，再次调用。三行分别依次输入姓名。
2024-05-14 05:42:22
564
原创 2024年最全【Python】高级变量通关教程上篇（列表、元组(2)，讲的明明白白
append(self，object) | 向列表的末尾追加数据 || insert(self，index，object) | 在列表的指定索引位置插入数据 || extend(self，iterable) | 将一个列表拼接到列表的末尾 |📖🍎。
2024-05-14 05:41:46
988
原创 2024年大数据最全数据结构——顺序表和链表_顺序表和链表的结构体(1)，阿里P7大佬手把手教你
【代码】2024年大数据最全数据结构——顺序表和链表_顺序表和链表的结构体(1)，阿里P7大佬手把手教你。
2024-05-13 20:55:11
203
原创 2024年大数据最全数据结构——二叉树（上）_文件系统是二叉树还是树，看看这篇文章吧
许久未见，今日为小伙伴们带来关于数据结构中二叉树的讲解，希望小伙伴们能够从中有所收获，就是对作者的最大鼓励！！！与数据结构的其他内容一样，在进行堆的功能实现之前，我们需要堆所存储的数据类型进行定义以及在调用这个堆的时候所使用的的结构体的定义。两者皆可根据读者的实际需求进行个性化定义，本文只是采取其中一种进行编写。本文对堆的数据类型采取整形的形式，而对于结构体的定义，我们在其中定义了三个变量，分别是存储数据的数组a数组元素的个数size数组的最大存储元素个数capacity。
2024-05-13 20:54:35
821
原创 2024年大数据最全数据结构 · 线性表 单链表，2024年最新【深度思考
线性表（）是n个具有相同特性的数据元素的有限序列。线性表是一种在实际中广泛使用的数据结构，常见的线性表：顺序表、链表、栈、队列、字符串…线性表在逻辑上是线性结构，也就说是连续的一条直线。但是在物理结构上并不一定是连续的，线性表在物理上存储时，通常以数组和链式结构的形式存储。
2024-05-13 20:53:58
428
1
原创 2024年大数据最全数据湖及湖仓一体化项目学习框架_湖仓一体 搭建，细节决定成败
1、数据湖技术Hudi大多数大数据企业在构建数仓时采用Lambda架构，一条离线数仓链路，一条实时数仓链路。一些实时业务多的公司构建数仓时采用Kappa架构，但是也避免不了离线处理一些数据，所以一些公司也采用Kappa架构+Lambda架构方式构建数仓。以上不同的架构都有各自的优点及缺点，这里不再赘述。
2024-05-13 20:53:21
1339
原创 2024年大数据最全2024面对5G、AI、大数据，Android掌握什么技术才不会被淘汰？，2024年最新80后程序员月薪30K+感慨中年危机
很多人还没到专家时候就35岁了，接下来面临的危机将会接踵而来！所以中年危机是多么的明显，这里我不在重复说了。目前这种年龄界限已经被降低到了32岁，因此加剧了技术人的焦虑。Android开发怎么做？安卓开发也是程序员，但他有自己的技术栈，下面我做了一个大众的精进线路图，读者们可以对照自己的能力去判断下，如果你想升职加薪，就需要对自己短板都补齐，不然就会增加你的中年危机坎的风险。转语言不算转行企业业务的成熟和新项目的无法在段时间孵化，加上用户对APP的体验要求提高，都加剧了移动开发对APP优化的挑战。
2024-05-13 15:21:16
721
原创 2024年大数据最全2024年，一个技术账号的年终独白，满篇都写着2个字：真难。(1)，2024年最新自己动手实现OkHttp
每年到此时，都要准备两份工作汇报，一份是给公司的，一份是橡皮擦账号自己的。汇报结尾，会立下 2023 年的 Flag~，怎么样，是不是一份非常标准的年终汇报？希望在这篇博客中，能让你在 IT 自媒体 这条路上，发现一些价值点。
2024-05-13 15:20:40
558
原创 2024年大数据最全2024年秋招后端面经_浦发后端开发 面经，深入解析大数据开发核心组件和应用框架
1.抽象类:如果一个类中包含了抽象方法,那么这个类就是抽象类.在Java中可以通过把某些方法声明abstract(abstract只能用来修饰类或者方法不能用来修饰属性)来表示一个类是抽象类。2.接口就是一个方法的集合，接口中所有的方法都是没有方法体的，通过关键字interface来实现。
2024-05-13 15:20:04
307
原创 2024年大数据最全2024年度总结 EXI-小洲_程序员年度总结2024 csdn(3)，2024年最新字节大数据开发高工面试
我目前就读于江西二本学校的电子信息科学与技术专业，2022年10月份开始写博文，至今已经有3个多月啦；我来csdn的初心是养成做笔记的习惯，再者是希望自己能够在IT社区贡献自己的一份心意，来帮助一些小白同学用作参考；我的主业方向是后端开发，我也有自己感兴趣的副业领域Spider，下面是我人生中的第一次年度总结；
2024-05-13 15:19:28
350
原创 最新数据结构--排序_数据结构prev，大数据开发内存优化面试题
(img-PkOwMh7I-1715507870387)](img-RLeykiDz-1715507870387)]// 大思路：选择排序，依次选数，从后往前排。// 建堆 – 向下调整建堆 - O(N)// 快速排序hoare版本。// 快速排序 非递归实现。// 快速排序前后指针法。// 归并排序非递归实现。// 测试排序的性能对比。// 希尔排序(化简)// 找出小的那个孩子。// 快速排序递归实现。// 归并排序递归实现。// 升序 – 大堆。// 降序 – 小堆。
2024-05-12 17:58:30
797
原创 最新数据湖及湖仓一体化项目学习框架_湖仓一体 搭建，2024年最新2024年最新大数据开发大厂面试题来袭
1、数据湖技术Hudi大多数大数据企业在构建数仓时采用Lambda架构，一条离线数仓链路，一条实时数仓链路。一些实时业务多的公司构建数仓时采用Kappa架构，但是也避免不了离线处理一些数据，所以一些公司也采用Kappa架构+Lambda架构方式构建数仓。以上不同的架构都有各自的优点及缺点，这里不再赘述。
2024-05-12 17:57:54
369
原创 最新数据库不推荐使用外键的9个理由！_为什么不建议使用外键(2)，2024年最新零基础大数据开发开发
为了能够容纳旧的脏数据，架构师可以选择a）清理和转换遗留数据（昂贵的练习），或者b）放弃在数据库级别上强制执行参照完整性。一些数据库，如数据仓库，分段或接口数据库，需要经常从外部重新加载数据。这可能不是数据库没有外键的正确理由，一些数据库跨越更多的物理数据库甚至引擎，并且在技术上可能不能创建跨越数据库的它不能在同一台服务器上的两个数据库上创建key。类似于前一个，一些应用程序被设计为数据库平台（DBMS）不可知的，并能够在Oracle，SQL Server，DB / 2或Sybase等各种数据库上工作。
2024-05-12 17:57:18
644
原创 最新数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume(3)，2024年最新从思维图到基础再到深入
Apache Flume是一个分布式的、可靠的、高可用的服务，用于高效地收集、聚合和移动大量日志数据到集中式数据存储位置。Flink CDC（Change Data Capture）是基于Apache Flink的一个库，用于捕获并处理数据库的变更数据。它可以实时监控数据库的增删改操作，并输出到Flink进行处理。对比项DataXFlink CDC部署难度| 容易 | 容易 | 中等，依赖于 Hadoop 生态系统 | 容易 | 中等，依赖于 Hadoop 生态系统 |运行模式。
2024-05-12 17:56:41
1510
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人