- 博客(92)
- 收藏
- 关注
原创 编程王炸来袭,DeepSeek+IDEA
为了更好的使用插件,这里推荐使用一个代理插件——CodeGPT,CodeGPT是一个AI驱动的代码助手,旨在帮助开发者进行各种编程活动,它是GitHub Copilot、AI Assistant、Codiumate和其他JetBrains插件的强大替代品。在今后的编程工作中,你可以尽情享受 DeepSeek 带来的便利和高效,感受它为你带来的那些温暖治愈的瞬间,领略编程世界的无限魅力。2025年的春节可以说是人工智能在中国史上飘红的一段历史时刻,年后上班的第一天,便马不停蹄的尝试新技能。
2025-02-08 17:00:56
1028
原创 UML _ 活动图
活动图(Activity Diagram)是一种表达的模型图,用来表达动作序列的执行过程。通常,活动图用于记录单个用例或商业过程的逻辑。(最常用)
2024-10-12 14:51:39
2337
1
原创 UML _ 包图
包(Package)是用于把模型本身组织成层次结构的机制,可以将多个元素组织为语义相关的组。包是对模型元素进行分组的机制,它不能执行。所有的UML模型元素都能用包来进行组织,但一个元素只能属于一个包。包经常用来组织类图、顺序图、活动图等数量较多的相关元素。作用包是UML中最重要的分组事物,用来组织模型中的元素。对语义上相关的元素按一定规律进行分组。例如,把功能相关的类放在一个包中。提供封装的命名空间。同一个包中,元素不能重名,其元素的名称必须惟一。提供配置管理单元。
2024-10-12 14:49:14
2505
原创 UML 状态图
一个复合状态包括一系列子状态,也称组合状态。被嵌套在另外一个状态中的状态。内部嵌套有子状态的状态。复合状态可以分解为并行或互斥的子状态,所以复合状态分为并发(正交)顺序(非正交)
2024-10-12 14:38:02
3287
原创 UML 协作图
定义通信图(Communication Diagram)是用于描述一组对象在协作过程中如何互相通信的模型图*(交互图基本功能),强调对象在交互中承担的角色,侧重于展示对象之间的关系。(通信图特点)*UML 1中,称为协作图UML 2中,更名为通信图。作用对 用例 来说通过描述对象之间消息的传递情况来反映具体使用语境的逻辑表达就是将用例的不同情况表达出来(一个使用情境的逻辑可能是一个用例的一部分或是一条控制流)对 对象 来说,显示对象及其交互关系的空间组织结构(侧重对象之间的关系)
2024-10-12 14:36:48
1145
原创 建立类图和对象图(实例)
用于,描述应用领域中的概念:一般这些概念与类有很自然的联系,但未必有直接的映射关系。独立于程序设计语言,类的描述一般只有类名,可能有少量属性和操作名称。也可以用分析类表示。逻辑层(说明层)类图用于描述软件的功能声明部分,不是实现部分:声明的功能可能因为实现环境、运行特性等而有不同的实现。主要列出属性和操作名称。,考虑类的实现问题。针对具体编程语言,提供类的实现细节。主要列出属性和操作的细节信息,如属性的数据类型、默认值等,操作的参数、返回类型等。
2024-10-12 14:34:40
864
原创 UML 顺序图
顺序图(Sequence Diagram)是用于描述一组对象及其协作过程的模型图,也称序列图。顺序图展示了对象之间如何相互协作来完成某一项功能,强调各个对象按照时间顺序进行交互的过程。顺序图是一种动态图顺序图是一种交互图组成顺序图主要由 对象 ,生命线 ,激活 , 消息 组成。对象之间通过传递消息的方式来发生交互。注意:交互是一种行为事物,不是关系。表示在UML的表示中,顺序图将交互关系表示为一个二维图。其中,纵向是时间轴,时间沿竖线向下延伸。横向代表了交互中的一组对象(对象角色)
2024-10-12 14:33:27
1739
原创 UML 类图
抽象操作缺乏实现的操作。抽象类包含抽象操作的类是抽象类。特点抽象类是不完整的,不能被直接实例化,不能创建一个属于抽象类的对象。抽象类可以有父类和子类将类名和操作名用斜体修饰 或者用构造型来表示。例。
2024-10-12 14:24:04
2077
原创 大话UML类图,轻松理解,小白也能绘制
一个合格的程序员,要想成长为一个高级工程师,不仅仅需要大量代码的编写,更需要对设计模式具有深入的了解和灵活的应用学习设计模式必不可少的一项能力就是能读懂UML类图,能够将自己的设计思路绘制成UML类图便于相互交流,其实稍有经验的程序员应该对UML类图都不陌生,因为我们平常会使用很多二次开发包,一般二次开发包都会提供一份包含本开发包的所有类相关的UML类图,通过UML类图可以让程序员快速的了解开发包中各个类的功能以及各个类之间的关系。
2024-09-30 09:52:34
1037
原创 redis基础学习笔记
1. 单机MySQL的年代90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!那个时候,更多的去使用静态网页 Html~服务器根本没有太大的压力!思考一下,这种情况下 : 整个网站的瓶颈是什么?数据量如果太大,一个机器放不下数据的索引(B+ Tree),一个机器内存也放不下访问量(读写混合),一个服务器承受不住2. Mencached(缓存)+MySQL+垂直拆分(读写分离)站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!
2024-09-29 13:00:05
1527
原创 redis小白笔记2
对于 Redis 的五大阻塞点来说,除了“集合全量查询和聚合操作”和“从库加载 RDB 文件”,其他三个阻塞点涉及的操作都不在关键路径上,所以,我们可以使用 Redis 的异步子线程机制来实现 bigkey 删除,清空数据库,以及 AOF 日志同步写。但是,如果应用程序先在一个 Socket 上运行,并且把数据保存到了内存,然后被调度到另一个 Socket 上运行,此时,应用程序再进行内存访问时,就需要访问之前 Socket 上连接的内存,这种访问属于。相反,如果是常规内存页机制,只用拷贝 4KB。
2024-09-29 11:53:39
847
原创 Redis小白学习笔记1
缓存击穿是指,针对某个访问非常频繁的热点数据的请求,无法在缓存中进行处理,紧接着,访问该数据的大量请求,一下子都发送到了后端数据库,导致了数据库压力激增,会影响数据库处理其他请求。此时,应用也无法从数据库中读取数据再写入缓存,来服务后续请求,这样一来,缓存也就成了“摆设”,如果应用持续有大量请求访问数据,就会同时给缓存和数据库带来巨大压力。缓存穿透是指要访问的数据既不在 Redis 缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库时,发现数据库中也没有要访问的数据。
2024-09-29 11:51:54
1197
原创 SSM和SpringBoot整合SpringSecurity完成方法级权限控制(非常详细)
权限管理,一般指根据系统设置的安全规则或者安全策略,用户可以访问而且只能访问自己被授权的资源。权限管理几乎出现在任何系统里面,前提是需要有用户和密码认证的系统。完成权限管理需要三个对象:是 采用AOP思想,基于 过滤器实现的安全框架。它提供了完善的和功能。是一款非常优秀的权限管理框架。核心文件配置 - mvc 资源启用核心文件配置 - 认证和资源拦截配置 SpringSecurity 过滤器默认首页 运行项目首页查看查看 默认提供的登录界面,获取对应的默认数据: , , …在
2024-06-21 15:05:38
833
原创 Python-大数据分析之常用库
特点Requests主要功能解析HTML和XML文档,提取数据发送HTTP请求,处理响应用途网页解析、数据抽取和处理向服务器发起HTTP请求、处理响应,获取网络数据关注重点文档解析、数据提取HTTP请求和响应的处理主要特点- 提供多种解析器 - 方便的API来遍历文档树、搜索元素、提取数据 - 修复HTML不完整标签- 提供简洁的API - 支持多种HTTP方法 - 处理认证、Cookie、SSL验证等适用场景从网页中提取特定数据、数据清洗、提取链接等。
2024-06-17 19:03:55
1809
原创 Hive解析Json常用案例
json_serde库提供了一种在Hive中直接将JSON格式的数据解析成表的方式,可简化处理流程。现在希望建立一张表,使得表可以直接映射上数据文件hive中建表age int,将json文件上传至建表对应hdfs路径# 也可以通过hive的sql命令行直接load数据文件查看表数据验证可以看到数据文件8行记录,成功映射对应了hive中wangt_666_json表的8条数据。
2024-06-17 19:00:24
556
原创 机器学习分类概述
利用已标注的训练数据集来训练模型,然后用这个模型对新数据进行预测,监督学习是机器学习领域中最常用的一类方法,通过学习已有数据中的输入输出关系,构建预测模型。它在分类和回归任务中有广泛的应用,但也面临数据需求高、模型复杂度大等挑战。通过合理的数据准备、模型选择和优化,可以有效提高模型的预测性能,解决实际问题。算法从标记的训练数据中学习,这些数据包括输入特征和期望的输出标签。目标是学习一个函数,该函数能够预测新数据的输出标签。常见任务包括分类(例如,垃圾邮件检测)和回归(例如,房价预测)。
2024-06-17 18:55:24
810
原创 深入理解窗口函数及其应用
窗口函数(Window Function)是一种在关系型数据库中执行聚合、分析和排序操作的高级工具。与常规的聚合函数(如SUM、AVG、COUNT等)不同,窗口函数允许在结果集中的每一行上进行计算,而不需要将数据分组。窗口函数提供了对每一行的子集(称为窗口)执行计算的能力,同时保留原始数据行的上下文信息。想象一家咖啡馆,里面有一堵特殊的墙,我们称之为“洞察之墙”。这堵墙背后有一个魔法窗户,这就是窗口函数。
2024-06-17 15:36:01
2121
7
原创 flink1.12.0学习笔记(七)-监控与优化
由于集群运行后很难发现内部的实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业的情况下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。
2024-06-17 15:25:19
880
原创 flink1.12.0学习笔记(六)-高级特性与新特性
在开发过程中,如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时,就可以使用 Broadcast State。Broadcast State 是 Flink 1.5 引入的新特性。下游的 task 接收这些配置、规则并保存为 BroadcastState, 将这些配置应用到另一个数据流的计算中场景举例动态更新计算规则: 如事件流需要根据最新的规则进行计算,则可将规则作为广播状态广播到下游Task中。
2024-06-17 15:22:53
834
原创 flink1.12.0学习笔记(五)-业务案例实践
在大数据的实时处理中,实时的大屏展示已经成了一个很重要的展示项,比如最有名的双十一大屏实时销售总价展示。除了这个,还有一些其他场景的应用,比如我们在我们的后台系统实时的展示我们网站当前的pv、首先我们通过自定义source 模拟订单的生成,生成了一个Tuple2,第一个元素是分类,第二个元素表示这个分类下产生的订单金额,金额我们通过随机生成.在电商领域会有这么一个场景,如果用户买了商品,在订单完成之后,一定时间之内没有做出评价,系统自动给与五星好评,用Flink的定时器来简单实现这一功能。
2024-06-17 15:19:47
857
原创 flink1.12.0学习笔记(四)-Table与SQL
flink1.12.0学习笔记第 4 篇-Table与SQLFlink的Table模块包括 Table API 和 SQL:Flink Table API 和 SQL 的实现上有80%左右的代码是公用的。作为一个流批统一的计算引擎,Flink 的 Runtime 层是统一的Table API & SQL的特点Flink之所以选择将 Table API & SQL 作为未来的核心 API,是因为其具有一些非常重要的特点自 2015 年开始,阿里巴巴开始调研开源流计算引擎,最终决定基于 Flink 打造新一代计
2024-06-17 15:17:16
802
原创 flink1.12.0学习笔记(三)-高级API
实际开发中我们希望基于事件时间来处理数据,但因为数据可能因为网络延迟等原因,出现了乱序或延迟到达,那么可能处理的结果不是我们想要的甚至出现数据丢失的情况,所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题!Watermaker水印机制/水位线机制可以解决这样的乱序情况。Watermaker就是给数据再额外的加的一个时间列,也就是Watermaker是个时间戳概念Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储State。
2024-06-17 15:13:31
853
原创 flink1.12.0学习笔记(二)-流批一体API
flink1.12.0学习笔记第 2 篇-流批一体API日常工作中,我们一般会先把数据存储在表,然后对表的数据进行加工、分析。既然先存储在表中,那就会涉及到时效性概念。如果我们处理以年,月为单位的级别的数据处理,进行统计分析,个性化推荐,那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别,或者一小时甚至更小粒度的数据处理,那么就要求数据的时效性更高了。比如:对网站的实时监控、对异常日志的监控,这些场景需要工作人员立即响应,这样的场景下,传统的统一收集数据,再存到数据库中,再取
2024-06-17 15:10:21
738
原创 flink1.12.0学习笔记(一)-部署与入门
flink1.12.0学习笔记(1)-部署与入门Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期, Flink 是做 Batch 计算的,但在 2014 年, StratoSphere 里面的核心成员孵化出 Flink,同年将 Flink 捐赠 Apache,并在后来成为 Apache 的顶级大数据项目,同时 Flink 计算的主流方向被定位为 Streaming, 即用流式计算来做所有大数据的计算,这就是 Flink 技术诞生的背景。 2
2024-06-17 15:04:30
1802
原创 zabbix简介及zabbix部署(超级详细)
Zabbix 是一款可监控网络的众多参数以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康状况和完整性。Zabbix 使用灵活的通知机制,允许用户为几乎任何事件配置基于电子邮件的警报。这允许对服务器问题做出快速反应。Zabbix 基于存储的数据提供报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制,允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。
2024-06-17 14:55:52
897
原创 Hadoop+Hive数据分析综合案例
聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对聊天数据的统计分析,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以及实现高ROI的平台运营推广,给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据,完成相关指标的统计分析并结合BI工具对指标进行可视化展现。
2024-05-31 09:28:08
8651
15
原创 Hadoop安装(小白教程)
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
2024-05-30 16:47:53
1007
原创 apache大数据各组件部署搭建(超级详细)
准备3台服务器用于集群部署,系统建议CentOS7+,2核8G内存172.19.195.228 hadoop101172.19.195.229 hadoop102172.19.195.230 hadoop1032. 安装包下载准备数仓部署组件安装包:链接:https://pan.baidu.com/s/1Wjx6TNkedMTmmnuWREW-OQ提取码:bpk0已经把相关组件均上传至网盘,也可自行去各自官方地址去下载收集;3台机器的/etc/hosts主机名解析配置:4. 配置服务器之间免密
2024-05-30 16:39:23
2169
原创 Hive原理及、部署和以及使用(超详细)
Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序【注意】:(1)被Hive处理的数据存储在HDFS上,并不是Hive本身用的数据库(2)Hive分析数据底层的实现是MapReduce,并不是hql直接对上数据底层(3)执行程序运行在Yarn上。
2024-05-30 16:29:50
705
原创 Kafka部署、原理和使用介绍(超详细)
Kafka是一种消息队列,是一个分布式的基于发布/订阅模式的,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。既然是消息队列,那么Kafka也就拥有消息队列的相应的特性了。
2024-05-30 16:22:17
939
原创 zookeeper简介、部署、和原理介绍(超详细)
Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
2024-05-30 16:18:44
1190
原创 Flume部署、原理和使用介绍(超详细)
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。
2024-05-30 16:01:43
820
原创 Hive中高频常用的函数和语法
如果没有前面的行(例如,当前行是第一行),则返回指定的默认值。在这些示例中,LAG()函数被用于获取结果集中的前一行的值,以进行相关的计算或分析。功能介绍: IFNULL(expression, default_value)函数用于处理NULL值,当表达式的值为NULL时,返回指定的默认值,以确保结果集中不包含NULL值。这样做的目的是将两个表的数据union all合并,并根据源标识的值进行排序和分区,以便在后续的ROW_NUMBER()函数中根据指定的规则选择每个分区中具有最高优先级的行。
2024-05-27 20:09:00
2835
原创 scala完整笔记-5万字一周入门到精通系列(二)
1)基本语法package 包名.类名例如之前的各种案例:package com.zuoli.chapter01package com.zuoli.chapter02package com.zuoli.chapter03…2)Scala包的三大作用(和Java一样)(1)区分相同名字的类(2)当类很多时,可以很好的管理类(3)控制访问范围只能包含数字、字母、下划线、小圆点.,但不能用数字开头,也不要使用关键字命名规则:命名规范:一般是小写字母 + .com.公司名.项目名.业务模块名例
2024-05-27 13:07:57
987
原创 scala完整笔记-5万字一周入门到精通系列(一)
作为程序员一定对python不陌生,python无疑成为了最为热门的语言,如今盘踞编程语言前三,但这背后原因则是因为人工智能、机器学习、区块链等超级大概念持续性的高热度和不断增长的关注度所带动;而scala的发展趋势比较雷同python,只是领域不同,大数据现在也是一个有着非常优秀的发展趋势,而大数据当前最火的框架要数spark和kafka,而这2个框架又都是scala编写的,也就是想在大数据走的远,深挖进去就得学习scala。(1)函数1:无参,无返回值(2)函数2:无参,有返回值。
2024-05-27 13:06:15
1225
原创 hive3从入门到精通(二)
语法规则:join语法丰富化Hive中join语法从面世开始其实并不丰富,不像在RDBMS中那么灵活从Hive 0.13.0开始,支持隐式联接表示法。允许FROM子句连接以逗号分隔的表列表,而省略JOIN关键字从Hive 2.2.0开始,支持ON子句中的复杂表达式,支持不相等连接(请参阅HIVE-15211和HIVE-15251)。在此之前,Hive不支持不是相等条件的联接条件join查询实验数据环境准备建表语句准备数据文件:上传数据映射文件:验证:为后续join实验做准备lef
2024-05-25 11:20:20
962
原创 hive3从入门到精通(一)
Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持(Decision Support)。数据仓库为了分析数据而来,分析结果给企业决策提供支撑。企业中,信息数据总是用作两个目的:(1)操作型记录的保存(2)分析型决策的制定为了能够正确认识这些问题,最稳妥办法就是:基于业务数据开展数据分析,基于分析的结
2024-05-25 11:16:40
1248
ssm简单增删改查源码.zip
2023-12-01
SpringBoot搭建智慧物业管理后台.zip+学生毕业设计首选+完整的毕业论文+答辩ppt
2023-11-30
综合项目-HTML5网页设计源码.rar+适合新手练习
2023-11-30
简历&项目讲解标准.zip+程序员各个岗位模版
2023-11-30
Java面试汇总.pdf+总结全面+八股文
2023-11-30
docker详细安装教程linux版本+小白都能完成
2023-11-30
就业指导手册2020版
2023-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人