
程序员
文章平均质量分 89
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据技术—Hadoop之搭建Linux虚拟机(桥接模式下)_haddop虚拟机(2)
主机里面填写的是你获得的动态IP值,用户名和密码是你之前自己设置的,填入即可。这里的用户名还可用,一般不建议使用,因为它具有最高权限点击确认后,连接即可,如果连接不上,可多尝试几次。出现该页面就代表连接成功,后续一直在该页面操作即可。这里最后的地方也可能不是ens33,可根据你的实际情况进行调整,如可先进入目录查看具体是什么,如果通过上面命令可直接进去,那就不用管。**注意:如果你是以普通用户登录的,执行该命令时可能无法对该文件进行修改,需要进入到root用户,获取最高权限,命令为:**原创 2024-05-15 11:22:14 · 417 阅读 · 0 评论 -
大数据技术—Hadoop之搭建Linux虚拟机(桥接模式下)_haddop虚拟机(1)
其中固态IP地址IPADDR设置的内容为你所想要设置的IP地址值,我们只修改最后面的数据,如前面我们通过命令获得的动态IP为:192.168.10.47,我们只修改47,改为108(这个可自己设置),网关GATEWAY要根据路由器的网关来设置,我此时操作时连接的是无线网,可在电脑本地终端输入来查看网关。子网掩码NETMASK为255.255.255.0DNS是域名系统的缩写,他是一个用于将域名解析为IP地址的系统,在这里设置两个DNS,一个为本地运营商的DNS,一个为通用的DNS(8.8.8.8)。原创 2024-05-15 11:21:38 · 352 阅读 · 0 评论 -
大数据技术4:Lambda和Kappa架构区别_lambda架构和kappa架构区别(2)
Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。原创 2024-05-15 11:21:02 · 490 阅读 · 0 评论 -
大数据技术4:Lambda和Kappa架构区别_lambda架构和kappa架构区别(1)
Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。原创 2024-05-15 11:20:26 · 371 阅读 · 0 评论 -
【学姐面试宝典】前端基础篇Ⅳ(JavaScript)_前端javascript宝典
textcolor{green}{评论,你的意见是我进步的财富!评论,你的意见是我进步的财富!今天的分享就到这里啦✨。原创 2024-05-15 02:43:37 · 653 阅读 · 0 评论 -
【学姐面试宝典】前端基础篇Ⅳ(JavaScript)_前端javascript宝典(1)
textcolor{red}{今天的分享就到这里啦✨}===、以及 Object.is 的区别。评论,你的意见是我进步的财富!今天的分享就到这里啦✨。今天的分享就到这里啦✨。原创 2024-05-15 02:43:01 · 1059 阅读 · 0 评论 -
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 &; 高效协同_flink 创建kafka sink
单个请求发送的最大字节数用于控制在与 Kafka 服务器连接断开后重新连接的时间间隔。具体来说,它定义了在发起重新连接尝试之间等待的时间量,以毫秒为单位。如果连接失败,生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器用于控制重新连接的最大退避时间。具体来说,它定义了在发起重新连接尝试之间等待的最长时间量,以毫秒为单位。如果连接失败,生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器当 Kafka 队列已满时,生产者将阻塞的最长时间(毫秒),超时后会抛出异常。原创 2024-05-15 02:42:25 · 1072 阅读 · 0 评论 -
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 &; 高效协同_flink 创建kafka sink(3)
KafkaSink的源码相对复杂,涉及到与Kafka的交互、并行处理、容错等方面的实现。总的来说,KafkaSink通过整合Flink和Kafka的功能,提供了一种高效、可靠的方式将流式数据写入Kafka主题,适用于各种实时数据处理场景。原创 2024-05-15 02:41:49 · 683 阅读 · 0 评论 -
Java面试之数据库篇(offer 拿来吧你)_现在java面试都喜欢考数据库吗(2)
上面名词傻傻分不清,一问搞定数据库 : 数据库(DataBase 简称 DB)就是信息的集合(数据库是由数据库管理系统管理的数据的集合)数据库管理系统 :数据库管理系统(Database Management System 简称DBMS)是一种操纵和管理数据库的大型软件,通常用于建立、使用和维护数据库。数据库系统 : 数据库系统(Data Base System,简称 DBS)通常由软件数据库和数据管理员(DBA)组成。原创 2024-05-14 17:21:52 · 801 阅读 · 0 评论 -
Java面试之数据库篇(offer 拿来吧你)_现在java面试都喜欢考数据库吗(1)
第一范式:数据库表中的每一列都不可再分,也就是原子性>上述不满足原子性原则,所谓原子就是最小的,不能再把它进行划分了,上述可以将部门岗位进行划分为下面的表第二范式:在满足第一范式基础上要求每个字段都和主键完整相关,而不是仅和主键部分相关(主要针对联合主键而言)两张表要通过外键关联,不保存冗余字段。如果不是联合主键(两个字段共同充当表的主键),不存在不遵守第二范式的问题。“订单详情表”使用**“订单编号”和“产品编号”**作为联合主键。原创 2024-05-14 17:21:16 · 1007 阅读 · 0 评论 -
Java面向对象编程·下_在main() 方法中使用父类引用指向子类对象的方式(向上转型),分别使用person类和wo
System.out.println(this.name + “正在吃” + food);System.out.println(this.name + “正在吃” + food);System.out.println(this.name + “正在吃” + food);System.out.println(this.name + “正在用两条腿跑”);System.out.println(this.name + “正在用轮子跑”);原创 2024-05-14 17:20:40 · 807 阅读 · 0 评论 -
Java面向对象编程·下_在main() 方法中使用父类引用指向子类对象的方式(向上转型),分别使用person类和wo(1)
多态是面向对象程序设计中比较难理解的部分. 我们会在后面的抽象类和接口中进一步体会多态的使用. 重点是多态带来的编码上的好处.另一方面, 如果抛开 Java, 多态其实是一个更广泛的概念, 和 “继承” 这样的语法并没有必然的联系C++ 中的 “动态多态” 和 Java 的多态类似. 但是 C++ 还有一种 “静态多态”(模板), 就和继承体系没有关系了.Python 中的多态体现的是 “鸭子类型”, 也和继承体系没有关系.Go 语言中没有 “继承” 这样的概念, 同样也能表示多态。原创 2024-05-14 17:20:02 · 992 阅读 · 0 评论 -
2024年最新DataEase安装与教程,人人都会的大数据可视化与BI工具!!!,985研究生被小公司领导留了3年
开源可视化:Metabase、redash、superset、d3js、grafana和dataease等商业可视化:finebi、powerbi、tableau、quickbi、datav、sugger、永洪等自研可视化:java web(python api) + h5 + echarts(highcharts)等DataEase 是开源的数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。原创 2024-05-14 08:43:17 · 1745 阅读 · 0 评论 -
2024年最新C语言高级教程-C语言数组(五):二维(多维(3),2024年最新技术总监都拍手叫好
用数组定义的帽子大小 的代码如下所示// 用数组定义的帽子大小与字符相同/\*数组存储帽子的大小从6 1/2到7 7/8每一行定义一个大小相同的字符通过对三行使用相同的索引来选择大小。例如索引2选择6又3/4。\*/// 数值为1/8英寸定义相关的变量 的代码如下所示// 头围,十进制英寸// 头的八分之一// 表示找到合适的帽子。原创 2024-05-14 08:42:41 · 255 阅读 · 0 评论 -
2024年最新cocosCreator 之 crypto-es数据加密_cocos使用node-rsa(1),2024年最新阿里三面
加密后的数据: U2FsdGVkX1/cqGU/G7xGVONeYS4R6sRjZYkMeAmUcdQ=console.log(“解密后的数据:”, value_2);console.log(“加密后的数据:”, value_1);console.log(“解密后的数据:”, value_2);加密前的数据: Thank you oops-framework。解密后的数据: Thank you oops-framework。console.log(“加密前的数据:”, value);原创 2024-05-14 08:42:05 · 567 阅读 · 0 评论 -
2024年最新Centos7搭建hadoop集群(1),5214页PDF的进阶架构师学习笔记
移步此:https://blog.youkuaiyun.com/qq_57074721/article/details/135733135。如果三台虚拟机之间都是可以相互ping通,则证明配置没有问题。原创 2024-05-14 08:41:27 · 405 阅读 · 0 评论 -
2024年大数据最新【Leetcode】NC31 第一个只出现一次的字符(牛客网)(2),大数据开发程序员面试必备的知识点
实现一个算法,确定一个字符串。的所有字符是否全都不同。原创 2024-05-13 23:55:02 · 256 阅读 · 0 评论 -
2024年大数据最新【jQuery超快速入门教程】上篇_jquery快速教程,2024年最新大数据开发实习面试经验汇总
(“#id”).parentsUntil(“#i2”) 查找当前元素的所有的父辈元素,直到遇到id为i2为止(不包括i2本身)。$(“#id”).prevUntil(“#i2”) 找到对应id值上面的所有元素直到id值为i2(不包括i2本身)$(“[href=‘#’]”) 选取所有带有 href 值等于 “#” 的元素。$(“#id”).prevAll() 找到对应id值上面的所有元素。$(“#id”).parents() 查找当前元素的所有的父辈元素。原创 2024-05-13 23:54:26 · 545 阅读 · 0 评论 -
2024年大数据最新【JAVA问题解决方案】01,2024大数据开发面试笔试总结
ExcelProperty(value = “学生姓名”,index = 3)// 4. 忽略id成员变量值读取Excel表格,在excel中不会显示。// 2. 修改index属性值读取Excel表格。// 3. 修改value属性值读取Excel表格。// 1. 修改成员变量顺序读取Excel表格。// 5. 按照指定的格式写入Excel内容。//这是测试导出两百万条数据。原创 2024-05-13 23:53:49 · 438 阅读 · 0 评论 -
2024年大数据最新【Java基础】数据结构与算法(2),头条大数据开发面试
通常情况下,精心选择的数据结构可以带来更高的运行或者存储效率定义:数据结构(data structure)是带有结构特性的数据元素的集合,它研究的是数据的逻辑结构和数据的物理结构以及它们之间的相互关系,并对这种结构定义相适应的运算,设计出相应的算法,并确保经过这些运算以后所得到的新结构仍保持原来的结构类型。简而言之,数据结构是相互之间存在一种或多种特定关系的数据元素的集合,即带“结构”的数据元素的集合。“结构”就是指数据元素之间存在的关系,分为逻辑结构和存储结构。原创 2024-05-13 23:53:13 · 704 阅读 · 0 评论 -
算法竞赛入门【码蹄集新手村600题】(MT1351-1400)_马蹄级考试题(2)
格式输入格式: 无输出格式: 输出字符串样例1输入格式: 无输出格式: ABBDDDFFF。原创 2024-05-12 20:58:12 · 920 阅读 · 0 评论 -
算法竞赛入门【码蹄集新手村600题】(MT1351-1400)_马蹄级考试题(1)
/第i行第j列的值等于第i-1行第j列与第i-1行第j-1列的和。原创 2024-05-12 20:57:36 · 818 阅读 · 0 评论 -
算法入门(零,认识复杂度,对数器,异或运算)_异或操作时间复杂度
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!认识复杂度在算法当中我们如何判断一个算法的好坏核心标准?1,时间复杂度(记为O(高价项)保留高价,去掉低价,常熟与系数(低价,高价)流程决定)2,额外空间复杂度(记为原创 2024-05-12 20:56:59 · 841 阅读 · 0 评论 -
算法入门(零,认识复杂度,对数器,异或运算)_异或操作时间复杂度(2)
2.3 :赋值,比较,自增,自减,单语句的if,else2.4 : 数组寻址操作(link,list不是)3,举例计算空间复杂度(选择排序)在列表中,从下标0到n-1开始寻找最小值,放在0位置上。在从下标1到n-1开始寻找最小值(看一遍,比一比,还位置),放在1上,反复循环操作。把整个流程拆分为基本常熟操作(如下)常熟操作:an**2+bn+n+c选择排序| 第一次 n*(2(看+比)+1 (n个数,+1是换操作 二个数看1次, 比一次) |原创 2024-05-12 20:56:23 · 343 阅读 · 0 评论 -
学习编程的第二十三天_在语法图中,关于运算符的语法描述越接近开始符号,运算优先级通常越低(4)
6.byte,short,char三种类型的数据在运算的时候,都会直接有提升为int类型转换,然后再进行运算。5.隐式转换的两种提升规律,取值范围小和取值范围大的进行运算,小的会先提升为大的,再进行运算。(3)结合性:运算的方向,大多数运算符的结合性都是从左向右,即从左向右依次进行运算。(8)结合性从右向左的只有赋值运算符、三目运算符和单目运算符(一个操作数)。3.隐式转换把一个取值范围小的数值,转换取值范围大的数据。(1)Java中的各种运算符都有自己的优先级和结合性。、~、++、–,优先级别高。原创 2024-05-12 03:48:22 · 383 阅读 · 0 评论 -
学习编程的第二十三天_在语法图中,关于运算符的语法描述越接近开始符号,运算优先级通常越低(3)
当“+”操作中出现字符串时,这个“+”是字符串连接符,而不是算术运算符了,会将前后的数据进行拼接,并产生一个新的字符串。如果把一个取值范围大的数值,赋值给取值范围小的变量是不允许直接赋值的。如果一定要赋值的话,就需要加数据的类型,进行强制转换格式,目标数据类型变量名相同。6.byte,short,char三种类型的数据在运算的时候,都会直接有提升为int类型转换,然后再进行运算。5.隐式转换的两种提升规律,取值范围小和取值范围大的进行运算,小的会先提升为大的,再进行运算。字符串的类型大小取值范围。原创 2024-05-12 03:47:46 · 366 阅读 · 0 评论 -
学习编程的第二十三天_在语法图中,关于运算符的语法描述越接近开始符号,运算优先级通常越低(2)
当“+”操作中出现字符串时,这个“+”是字符串连接符,而不是算术运算符了,会将前后的数据进行拼接,并产生一个新的字符串。如果把一个取值范围大的数值,赋值给取值范围小的变量是不允许直接赋值的。6.byte,short,char三种类型的数据在运算的时候,都会直接有提升为int类型转换,然后再进行运算。5.隐式转换的两种提升规律,取值范围小和取值范围大的进行运算,小的会先提升为大的,再进行运算。3.隐式转换把一个取值范围小的数值,转换取值范围大的数据。2.有小数参与计算的时候,结果有可能不精确。原创 2024-05-12 03:47:10 · 359 阅读 · 0 评论 -
学习编程的第二十三天_在语法图中,关于运算符的语法描述越接近开始符号,运算优先级通常越低(1)
当“+”操作中出现字符串时,这个“+”是字符串连接符,而不是算术运算符了,会将前后的数据进行拼接,并产生一个新的字符串。如果把一个取值范围大的数值,赋值给取值范围小的变量是不允许直接赋值的。如果一定要赋值的话,就需要加数据的类型,进行强制转换格式,目标数据类型变量名相同。6.byte,short,char三种类型的数据在运算的时候,都会直接有提升为int类型转换,然后再进行运算。5.隐式转换的两种提升规律,取值范围小和取值范围大的进行运算,小的会先提升为大的,再进行运算。字符串的类型大小取值范围。原创 2024-05-12 03:46:34 · 336 阅读 · 0 评论 -
大数据最全【云原生】Docker介绍_docker是开发技术么,2024年最新阿里面试100%会问到的大数据开发
与 VM 相比,容器占用的空间更少(容器映像的大小通常为数十 MB),可以处理更多应用程序并且需要更少的 VM 和操作系统。此外,领先的开源无服务器框架利用 Docker 容器技术。Docker 容器为开发人员和测试人员提供了统一的运行环境和应用程序,通过容器迁移带来的标准化环境简化了开发生命周期,容器非常适合持续集成、持续交付和持续测试工作流程,也就是devpos。Docker 轻量而快速,它比虚拟机所需的硬件资源要少的多,因此它可以为经济高效的替代虚拟机,同时在一台设备上可以运行多个容器,节省开销。原创 2024-05-11 19:09:51 · 660 阅读 · 0 评论 -
大数据最全【云原生 实战研发】2:Pod的深入实践与理解_pod 深度学习(1),2024年大数据开发笔试题总结
所以通过上述的讲解,理解了Pod的概念设计来由,以及为什么需要Pod。通过Pod,可以知道怎么去描述超亲密关系,怎么去进行统一的业务调度。这就是Pod最主要的来由与作用。apiVersion: v1 # 必选,API的版本号kind: Pod # 必选,类型Podmetadata: # 必选,元数据name: nginx # 必选,符合RFC 1035规范的Pod名称。原创 2024-05-11 19:09:15 · 779 阅读 · 0 评论 -
大数据最全【云原生 实战入门】1:Docker、K8s简单实战与核心概念理解(1),2024大数据开发春招面试经历
如下图所示,左边是普通的操作系统管理进程,而右边是使用了容器之后的。原创 2024-05-11 19:08:39 · 740 阅读 · 0 评论 -
大数据最全【业务数据分析】——Excel数据透视表(四,大数据开发基础图形
下午5点30boss:把这张表给我整理成如下格式,就是根据平台给我汇总一下销量和收入,我要做个数据统计同学们,你们接到这样的需求之后,有什么想法呢?哈哈,第一个想法肯定是,我滴妈呀,为啥临到下班点给我派活,一天都干啥去了,是逼我加班么,这是什么boss,真够讨厌的。以上是开玩笑的啦,同学们都是积极上进的好同志,一般不会这么想的吧,肯定是在想解决方案,我该怎么操作。那接下来就看看怎么解决这个问题青铜:好办,在源表中按照品牌一个一个筛选,然后用函数。原创 2024-05-11 19:08:02 · 804 阅读 · 0 评论 -
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取这里也有个小坑、我的是版本是7.17.2 ,然后这个版本也没说的不能用,第一次装了一个最新的版本;装完后、发现版本不匹配。又重新下载安装了同一个版本的版本对应位置:https://github.com/medcl/el原创 2024-05-11 05:14:00 · 1067 阅读 · 0 评论 -
一文带你读懂zookeeper在大数据生态的应用_zookeeper与zkfc csdn(2)
用于多线程环境下控制只有一个线程可以访问某一个资源,不能多个线程同时访问,锁旨在强制实施互斥排他、并发控制策略。原创 2024-05-11 05:13:24 · 921 阅读 · 0 评论 -
一文带你读懂zookeeper在大数据生态的应用_zookeeper与zkfc csdn(1)
用于多线程环境下控制只有一个线程可以访问某一个资源,不能多个线程同时访问,锁旨在强制实施互斥排他、并发控制策略。原创 2024-05-11 05:12:48 · 746 阅读 · 0 评论 -
一文学会IDEA中的Maven集成与创建(详细教程)_idea集成本地maven
有时候配置后,Maven目录仍无效,此时可以打开File-New Projects Setup,然后看看是否和上面配置的一样,不一样,改为上面的配置即可。【3】点击IDEA中菜单栏中的Tools,在下拉菜单中可以找到安装好的Maven Search工具,后面我们在添加搜索jar文件时可以用到。堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。比如项目要使用mysql驱动等。1)项目的自动构建,帮助开发人员做项目代码的编译,测试, 打包,安装,部署等工作。原创 2024-05-11 05:12:11 · 1090 阅读 · 0 评论 -
《离线和实时大数据开发实战》(五)Hive 优化实践_大数据hive离线计算开发实战(1)
Hive 的优化正是采用各种措施和方法对上述场景的倾斜问题进行优化和处理。原创 2024-05-10 20:35:21 · 870 阅读 · 0 评论 -
《离线和实时大数据开发实战》(三)Hadoop原理实战_hadoop离线大数据论文
要想让 HDFS 处理好小文件,有不少方法。例如,利用 SequenceFile、MapFile、Har 等方式归档小文件。这个方法的原理就是把小文件归档起来管理, HBase 就是基于此的对于这种方法,如果想找回原来的小文件内容,就必须得知道与归档文件的映射关系。原创 2024-05-10 20:34:45 · 878 阅读 · 0 评论 -
《离线和实时大数据开发实战》(一)构建大数据开发知识体系图谱(3)
离线处理一般按天进行数据处理,每天凌晨等数据采集和同步的数据到位后,相关的数据处理任务会被按照预先设计的 ETL(抽取、转换、加载,一般用来泛指数据清洗、关联、规范化等数据处理过程)逻辑以及 ETL 任务之间的拓扑关系依次调用,最终的数据被写入离线数据仓库中。离线数据仓库中的数据通常是按照某种建模思想(最常用的是维度建模思想)精心组织的,这样既可以使下游用户非常直观和方便地使用,又可以使数据处理过程很方便地扩展和修改。原创 2024-05-10 20:34:09 · 804 阅读 · 0 评论 -
《离线和实时大数据开发实战》(一)构建大数据开发知识体系图谱(2)
比如离线的主要数据处理技术是基于 Hadoop MapReduce 的 Hive ,而 Hive 是一种 SQL on Hadoop 的技术,但类似的 SQL on Hadoop 技术和框架还有很多,比如 Cloudera 的 Impala ,Apache Druid 以及 Presto、Shark 等,初学者应该以一种技术为主,辅助了解其他相关的技术,否则容易失去重点 ,从而不知所措。但正是这些所有的数据技术一起构成了目前大数据的生态系统,各种技术你中有我,我中有你 ,互相借鉴,互相启发。原创 2024-05-10 20:33:32 · 942 阅读 · 0 评论