普通网友-优快云博客

原创 Tomcat安装使用与部署Web项目的三种方法_tomcat部署web项目

✅作者简介：C/C++领域新星创作者，为C++和java奋斗中📃推荐一款模拟面试、刷题神器👉🔥前言今天带来Tomcat的安装教程，也会讲到各种目录下代表的含义，重点是在Tomcat服务器上面部署Web项目的三种方法。

2024-06-20 01:40:00 1009

原创 docker-compose部署kafka、SASL模式(密码校验模式)_system

Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。这是一个Docker Compose文件，用于定义和运行多个Docker容器的应用。需要新建文件：server_jaas.conf，前两个是zk配置，后两个是kafka配置。

2024-06-19 23:24:42 1368

原创最全大数据行业必须掌握的核心技术(2)，【原理+实战+视频+源码】

虽然与之前我们接触过的数据处理分析相对应，每个环节看似简单，而在实际应用中，由于数据量较大，数据种类较多，目前只能通过大数据技术实现最终的数据分析以及应用。在市场化经济的时代，数据支撑将成为企业的发展依据。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。大数据的数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

2024-05-16 04:19:58 424 1

原创最全大数据行业必须掌握的核心技术(1)，2024年最新2024大数据开发大厂面试经验

大数据采集分为两个重要的方面，首先是大数据智能感知层：必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。其次是基础支撑层：重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。大数据的数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

2024-05-16 04:19:26 327

原创最全大数据自定义函数udf，2024年最新2024金九银十面试季

二，udf制作流程。

2024-05-16 04:18:53 923

原创最全大数据组件安装部署、配置文件、启停命令总结，学海无涯

最大值：bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test_kafka_topic --time -1 --broker-list 127.0.0.1:9092 --partitions 0。说明：在${KAFKA_HOME}/config/server.properties中配置 delete.topic.enable 为 true，这样才能生效，删除指定的 topic主题。

2024-05-16 04:18:20 1016

原创大数据最新二(1)，大数据开发面试选择题

get name #获取值，key为 name。

2024-05-15 19:31:56 252

原创大数据最新临近毕业：Android VS大数据Java的offer，我到底应该怎么选？(2)，2024年最新看完这篇

这套架构师成长路线是6名来自阿里、腾讯等10余年开发经验的资深架构师结合实战经验及最新互联网企业主流技术，归纳整理而成，并针对每一个技术点配有相应的视频详解、源码注释和笔记文档。技术是值钱，但是更值钱的还有吃透行业业务逻辑的人，这样的人年薪百万也不一定能找得到。1、热修复设计2、插件化框架解读3、组件化框架设计4、图片加载框架。2、Android组件内核3、大型项目必备IPC4、数据持久化。4、数据传输与序列化5、Java虚拟机原理6、反射与类加载。1、UI开发2、API操作3、微信对接。

2024-05-15 19:31:23 296

原创大数据最新下一代实时数据库：Apache Doris 【一】简介，2024年最新大数据开发研发岗面试复盘总

Apache Doris 由百度大数据部研发(之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ) ，在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP (Massively Parallel Processing，即大规模并行处理) 分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。

2024-05-15 19:30:51 263

原创大数据最新下一代实时数据库：Apache Doris 【一】简介(2)，复习指南

Apache Doris 由百度大数据部研发(之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ) ，在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP (Massively Parallel Processing，即大规模并行处理) 分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。

2024-05-15 19:30:18 340

原创助力工业物联网，工业大数据之费用事实指标分析及实现【二十四】(4)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！小结目标：实现DWB层差旅报销事实指标表的构建路径实施数据来源ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表

2024-05-15 08:32:58 423

原创助力工业物联网，工业大数据之费用事实指标分析及实现【二十四】(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！小结目标：实现DWB层差旅报销事实指标表的构建路径实施数据来源ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表

2024-05-15 08:32:22 1002

原创助力工业物联网，工业大数据之费用事实指标分析及实现【二十四】(2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！目标：实现DWB层费用报销事实指标表的构建路径实施数据来源ciss_base_servicestation：服务网点信息表ciss_service_exp

2024-05-15 08:31:46 365

原创助力工业物联网，工业大数据之费用事实指标分析及实现【二十四】(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取小结目标：实现DWB层差旅报销事实指标表的构建路径实施数据来源ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表ciss_service_travel_expens

2024-05-15 08:31:10 294

原创【MapReduce】扩展案例 ---- TopN（求取数据集前N名）_topn maprreduce

FileOutputFormat.setOutputPath(job, new Path(“G:\Projects\IdeaProject-C\MapReduce\src\main\java\第七章_MR扩展案例\TopN\output1”));FileInputFormat.setInputPaths(job, new Path(“G:\Projects\IdeaProject-C\MapReduce\src\main\java\第二章_Hadoop序列化\output”));// 获取job对象。

2024-05-14 23:51:55 822

原创【MapReduce】扩展案例 ---- TopN（求取数据集前N名）_topn maprreduce(1)

/ 2 限制TreeMap数据量，超过10条就删除掉流量最小的一条数据。// 定义一个TreeMap作为存储数据的容器（天然按key排序）package 第七章_MR扩展案例.TopN;// 6 遍历treeMap集合，输出数据。// 1 向treeMap集合中添加数据。// 5.限制TreeMap的数量。// 3.封装Beand对象。// 3 遍历集合，输出数据。// 4.向集合中添加元素。// 1.读取一行数据。

2024-05-14 23:51:19 719

原创【kerberos】hadoop集群使用keytab认证的逻辑_centos 8 hadoop-2(1)

UserGroupInformation类中使用静态变量存放hadoop conf和已认证用户信息，所以只需要程序中认证一次，不同类不需要传递认证的user，只需要都到UserGroupInformation取即可。结果是利用环境变量设置的pricipal+keytab或者cache认证。入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！中依据此项配置，查询集群是否启动kerberos。改良内容就是通过配置环境变量的方法，文档中明确了：会默认加载类路径下的。中含有hadoop的安全配置。

2024-05-14 23:50:40 557

原创【Kafka面试演练】那Kafka消费者手动提交、自动提交有什么区别？(2)

面试官：听说你精通Kafka，那我就考考你吧面试官：不用慌尽管说，错了也没关系😊。。。❤️。

2024-05-14 23:50:03 796

原创 Apache Shiro Realm实战及认证授权源码解读_field loginservice in com

6）ModularRealmAuthenticator的doAuthenticate()方法会获取相应的realm，由于我们目前只配置了一个realm，所以会执行doSingleRealmAuthentication()方法，接着会AuthenticatingRealm的getAuthenticationInfo()方法，接着继续进入AuthenticatingRealm的getAuthenticationInfo()方法。

2024-05-14 14:31:55 430

原创 Apache Impala架构解析及与Hive、SparkSQL的性能比较_hive引擎执行效率对比

调用节点将结果返回给客户端。状态管理进程，定时检查The Impala Daemon的健康状况，协调各个运行Impalad的实例之间的信息关系，Impala正是通过这些信息去定位查询请求所要的数据，进程名叫作 statestored，在集群中只需要启动一个这样的进程，如果Impala节点由于物理原因、网络原因、软件原因或者其他原因而下线，Statestore会通知其他节点，避免查询任务分发到不可用的节点上。2．Impala支持内存中数据处理，它访问/分析存储在Hadoop数据节点上的数据，而无需数据移动。

2024-05-14 14:31:19 594

原创 Apache Impala架构解析及与Hive、SparkSQL的性能比较_hive引擎执行效率对比(1)

状态管理进程，定时检查The Impala Daemon的健康状况，协调各个运行Impalad的实例之间的信息关系，Impala正是通过这些信息去定位查询请求所要的数据，进程名叫作 statestored，在集群中只需要启动一个这样的进程，如果Impala节点由于物理原因、网络原因、软件原因或者其他原因而下线，Statestore会通知其他节点，避免查询任务分发到不可用的节点上。5、任务调度和分发：由BE处理生成的分布式物理执行计划，将Fragment根据数据分区信息发配到不同的Impalad节点上执行。

2024-05-14 14:30:43 321

原创 Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf

流量规模大，如 bilibili 首页推荐的流量，AI 的展现点击 Join，来自全站的点击量和展现。而流和维表及特征信息的 join 来产出实时 instance 流，但早期相关的工程服务存在着单点问题，服务质量、稳定性带来的维护成本也很高，致使 AI 在早期 Pipeline 的构建下投入非常大。实际过程中，采用原生 Flink 在该规模下会遇到较多的性能问题，如在早期 Flink 1.3.* 版本，其稳定性会较差。下一层是 BSQL 层，主要进行 SQL 的扩展和解析，包括自定义算子和个性算子。

2024-05-14 14:30:06 766

原创 2024年最全【操作系统入门到成神系列九】进程和线程(1)，2024年最新【深度思考

线程是进程当中的一条执行流程。同一个进程内多个线程之间可以共享代码段、数据段、打开的文件等资源，但每个线程各自都有一套独立的寄存器和栈，这样可以确保线程的控制流是相对独立的。

2024-05-14 05:53:52 798

原创 2024年最全【手把手带你学JavaSE】第三篇：运算符和程序逻辑控制(2)，差点挂在第四面

读入字符串读入字符串，如果字符串存在空格的情况下，遇到空格结束如果你要读取字符串和整数，要先读取字符串再读取整数如果要简单使用输入函数，可以用。项目当中，慎重！！！！！！悬垂 else 问题if / else 语句中可以不加大括号 . 但是也可以写语句(只能写一条语句). 此时 else 是和最接近的 if 匹配.但是实际开发中我们不建议这么写. 最好加上大括号.代码风格问题虽然两种方式都是合法的, 但是 Java 中更推荐使用风格1 , { 放在 if / else 同一行.

2024-05-14 05:53:16 1024

转载 2024年最全【微信小程序】零基础学小程序语法_微信小程序语法难学吗(1)，2024年最新实战案例

【示例4-1】新建一个项目grammar，用来学习本章的内容。运行代码，首页效果如下图所示。在接下来的小节里，我们通过点击不同的按钮进入对应的组件展示中。数据绑定使用Mustache语法（双大括号）将变量包起来。运行效果如图所示。【代码解析】我们分别演示了3种不同的数据绑定，姓名直接使用了固定参数username，性别则使用了一个对象userInfo，并在里面增加了参数sex，所以我们在wxml中要写userInfo.sex。

2024-05-14 05:52:40 856

原创 2024年最全【基本面的量化分析与投资的回报可能 - 上篇】_pyfinance，2024年大数据开发面试心得

df_20221 = pd.DataFrame(pd.read_csv(“D:\BaiduNetdiskWorkspace\股票候选\季度3连涨候选人_2022年第壹季.csv”, encoding=‘GBK’, index_col=0))df_result = df_result.sort_values(by=df_result.columns[-1], ascending=False).reset_index(drop=True) # 排序整理一下。

2024-05-14 05:52:04 1005

原创 2024年大数据最全深入解析大数据体系中的ETL工作原理及常见组件(1)，大数据开发开发技巧

*

2024-05-13 21:05:29 960

原创 2024年大数据最全深入xJavaFxTool的插件开发模式_xjavafxtool 源码分析，2024年最新2024年大数据开发高级面试题

一个好的产品，离不开成熟的生态，可以兼容种类丰富的外部插件。同时，很方便的帮助开发者，基于一些公共的api来开发扩展基础应用，也是一项非常加分的能力。xJavaFxTool就是这么一款对开发者友好的开发框架。而xJavaFxTool的扩展能力，第一大语言优势就是，基于java开发语言，java语言的动态反射机制，有了反射机制，让动态调用得以实现，并在这里发光发热，项目的高效扩展集成得到了实现。

2024-05-13 21:04:53 827

原创 2024年大数据最全消息队列面试题(1)，被面试官问的大数据开发问题难倒了

在使用消息队列过程中，应该做到消息不能多消费，也不能少消费，因此可靠性传输，从以下三个角度分析RocketMQ。中有三种模式：单机模式、普通集群模式、镜像集群模式。频繁中小公司建议用RabbitMQ。的顺序问题分为全局有序和局部有序。

2024-05-13 21:04:17 944

原创 2024年大数据最全浏览器缓存机制与分类（一）_(from disk cache)，2024年最新斗鱼直播大数据开发开发二面被刷

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新。

2024-05-13 21:03:40 979

原创 2024年大数据最全AI遮天传 DL-回归与分类_分类回归 ai(2)，2024年最新大数据开发最牛教材

我们上面讲解了一维和多维二分类，其实对于多分类，只是增加了函数个数作为维度。如上图，比如对于一个x，三个函数的结果为1.2、4.1、1.9，那么便可根据后续操作对其进行回归或者分类。这三个函数可能是线性的，也可能是非线性的，如logistic回归。选择均方误差(MSE)作为损失函数对其使用最小二乘法/梯度下降法进行计算得出参数。一般意义的交叉熵网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。

2024-05-13 15:31:35 794

原创 2024年大数据最全AI遮天传 DL-回归与分类_分类回归 ai(1)，2024年最新字节跳动面试分享

我们上面讲解了一维和多维二分类，其实对于多分类，只是增加了函数个数作为维度。如上图，比如对于一个x，三个函数的结果为1.2、4.1、1.9，那么便可根据后续操作对其进行回归或者分类。这三个函数可能是线性的，也可能是非线性的，如logistic回归。选择均方误差(MSE)作为损失函数对其使用最小二乘法/梯度下降法进行计算得出参数。

2024-05-13 15:30:59 1039

原创 2024年大数据最全AI绘画普及课【二】文生图入门_平铺分块 (tiling)(4)，2024年最新我阿里P7了解到的大数据开发面试的一些小内幕

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取indoor, sitting on sofa, sunset, backlighting, shiny skin, lens flare, light particles, glowing, dappled sunl

2024-05-13 15:30:23 786

原创 2024年大数据最全AI绘画普及课【二】文生图入门_平铺分块 (tiling)(3)，2024年最新稳进大厂

比如：树木，灌木，白色的花，（林间）小路。

2024-05-13 15:29:46 792

原创最新版本Hadoop面试题_第1个副本存放在客户端,如果客户端不在集群内,就在集群内随机挑选一个cpu比较空闲

六:数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在pipeline 反方向上，逐个发送 ack（命令正确应答），最终由 pipeline中第一个 DataNode 节点 A 将 pipeline ack 发送给 client;七:当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个block 到服务器。

2024-05-12 18:08:44 870

原创最新深度学习与神经网络之开宗明义详解人工智能(1)，2024年最新大数据开发基础教程ppt

在人工智能的各个子领域中，由于其解决的问题各不相同，所以对应的目标和使用的工具并不完全相同。在传统意义上来说，人工智能研究的目标包括感知智能、认知智能、行为智能。人工智能自成立以来尝试并放弃了许多不同的方法，包括模拟人类大脑、模拟人类解决问题、形式逻辑、大型知识数据库和模仿动物行为。(小爱、小度、Siri)、智能驾驶系统(特斯拉)、量化交易系统、自动下棋系统(AlphaGo)等能够自动形成决策或者行动的系统。在该领域占据了主导地位，事实证明还是比较成功的，帮助整个工业界和学术界解决了许多具有挑战性的问题。

2024-05-12 18:08:08 443

空空如也

空空如也