- 博客(50)
- 收藏
- 关注
RSS订阅原创 行测——资料分析
简单占比前期比重与本期比重隔期占比比重趋势比重差定性类定量类简单年均增长量年均增长率这里只解决一些比较复杂或者有公式的资料分析题，至于计算能力和简单题目，不做归纳！假设分配法自己去学，ABRX (A为基期，B为末期，R为增长率，X为增长量) 这类简单题本文不做赘述。
2024-04-12 03:11:27
1541
原创 408之数据结构与算法——3.栈、队列
注意点：AB/代表的是A/B，与BA/代表的是B/A。在转后缀的过程中，先弹出栈的是B（栈是左优先读取）也就是右操作数，然后弹出A是左操作数！注意点：与转后缀相反，/AB在中缀转前缀中过程中，先弹出栈的是A（栈是右优先读取）也就是左操作数，然后弹出的B是右操作数！（通常采用左优先原则【只要左边运算符能先计算，就先计算左边的】）（通常采用右优先原则【只要右边运算符能先计算，就先计算右边的】）与顺序队列不同的是，链式队列几乎不存在队满的可能，除非内存不足。（deque）：允许两端插入，两端删除的线性表。
2023-04-21 10:05:28
294
原创 408之数据结构与算法——5.树
return 0;l+1:r+1;Tree t;cout<<"树的深度： "<<TreeDepth(t);// 4中序线索二叉树先序线索二叉树后序线索二叉树找前驱√×√找后继√√×树森林转换的二叉树先根遍历先序遍历先序遍历后根遍历中序遍历中序遍历最好时间复杂度最坏时间复杂度并O(1)O(1)查O(1)O(n)
2023-04-21 10:05:20
176
原创 408之数据结构与算法——6.图
408之数据结构与算法——6.图1. 图的概念1.1 图的定义1.2 不同图的简介1.3 图的结点2. 图的存储2.1 邻接矩阵（顺序）2.2 邻接表（顺序+链式）2.3 十字链表2.4 邻接多重表2.5 总结3. 图的基本操作3.0 基本操作概括3.1 邻接矩阵代码实现3.2 邻接表代码实现3.3 基本操作总结4. 图的遍历4.1 广度优先遍历（BFS）4.2 深度优先遍历（DFS）4.3 代码示例4.4 BFS代码4.5 DFS代码5. 最小生成树5.1 概念5.2 Prim算法5.3 Kruskal算
2023-04-21 10:04:46
53
原创 408之数据结构与算法——8.排序
排序方法平均时间复杂度最坏时间复杂度空间复杂度稳定性适用性直接插入排序O(n2O(n2O(1)稳定顺序表√ 链表√折半插入排序O(n2O(n2O(1)稳定顺序表√ 链表√希尔排序O(n1.3O(n2O(1)不稳定顺序表√ 链表×冒泡排序O(n2O(n2O(1)稳定顺序表√ 链表√快速排序O(nlog2n)O(n2O(log2n)不稳定顺序表√ 链表√简单选择排序O(n2O(n2O(1)不稳定顺序表√ 链表√堆排序O(nlog2n)O(nlog2。
2023-04-21 10:03:52
184
原创 Kafka 核心知识
消息队列(MessageQueue)：是一种异步的服务间通信方式，是分布式系统中重要的组件，主要解决应用耦合异步消息流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。简单点说：消息队列MQ用于实现两个系统之间或者两个模块之间传递消息数据时，实现数据缓存。负责往消息队列中写数据负责从消息队列中读数据临时存放两个系统之间需要传递的数据数据的分类，用于区分消息队列中不同的业务的数据生产者往消息队列中生产数据，将数据写入对应的主题中；消费者可以订阅。
2023-03-13 10:42:23
367
原创 spark SQL
RDD是数据集合，每条数据就是一个元素，只能对元素进行处理；DataFrame是数据表，每条数据就是表中的一行，并且会给一行划分每一列，可以对每行或者每列的数据进行处理。DataFrame 本质是基于RDD之上增加了Schema信息：DataFrame = RDD + Schema。RDD： 没有Schema，对于RDD，每条数据就是一个Person信息，每个元素代表一个人但是RDD并不清楚每个人有什么信息。支持泛型，RDD[int]、RDD[tuple]、RDD[Person]。DataFrame
2023-03-13 10:41:28
849
原创 spark 核心RDD
RDD（Resilient Distributed Dataset）叫做弹性 分布式 数据集，是Spark中最基本的数据抽象，代表一个不可变类型可分区、里面的元素可并行计算的集合。可以认为RDD是分布式的"列表List或数组Array"(与其说是列表不如说是元组【其本身是不可变类型，只能通过血缘追踪】)
2023-03-13 10:36:56
413
原创 Spark 基础概念
Spark1. Spark基础概念1.1 Spark概述1.2 Spark 四大特点运行速度快1.3 Spark 框架1.4 Spark 运行模式集群模式1.5 spark-shell1.6 Spark Application程序1.6 Spark Standalone集群模式 介绍Standalone架构程序执行阶段单点故障（SPOF）问题2. Spark运行过程2.1 WordCount代码入门2.2 WordCountTopKey 代码2.3 部署模式DeployMode在Standalone集群中部
2023-03-13 10:34:18
3072
原创 Hive 进阶篇
用户自定义函数简称UDF (user-defined function)自定义函数总共有3类，是根据函数输入输出的行数来区分的，分别是udf 函数【普通函数，一进一出】udaf 函数【聚合函数，多进一出】udtf 函数【表生成函数，一进多出】用户自定义函数，即用户自己开发的函数。加入依赖自定义类，集成UDF重写方法打包上传重启注册，使用4. Hive 函数高阶窗口函数（Window functions）是一种SQL函数，适合于数据分析，因此也叫做OLAP函数。
2022-11-20 17:39:35
2256
5
原创 Hive 基础篇
DDL (Data Definition Language)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言。在某些上下文中，该术语也称为数据描述语言，因为它描述了数据库表中的字段和记录。核心语法由 CREATE、ALTER 与 DROP三个所组成，DDL并不涉及表内部数据的操作。
2022-11-20 17:39:13
1468
原创 Yarn 的深入了解，深入浅出，面试必备（Hadoop的三部曲——下）
YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度，提供运算所需的资源（内存、cpu）。yarn 并不清楚用户提交的程序的运行机制yarn只提供运算资源的调度（用户程序向 yarn 申请资源，yarn 就负责分配资源）yarn与运行的用户程序完全解耦，意味着 yarn 上可以运行各种类型的分布式运算程序yarn 成为一个通用的资源调度平台，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享yarn 中的主管角色叫。
2022-10-13 11:13:33
1124
原创 MapReduce 的深入了解，深入浅出，面试必备（Hadoop的三部曲——中）
MapReduce的思想核心是分而治之。所谓分而治之就是把一个复杂的问题按一定的分解方法分为规模较小的若干部分，然后逐个解决。Map负责分即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系Reduce负责合即对map阶段的结果进行全局汇总输入目录下文件按一定标准进行逻辑切片Map阶段：把数据解析成键值对Collect阶段：按一定规则对map的输出进行分区后写入内存(环形缓冲区)
2022-10-13 11:13:17
1411
原创 HDFS 的深入了解，深入浅出，面试必备（Hadoop的三部曲——上）
HDFSHadoop 分布式文件系统。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。hdfs dfs、 hadoop fs 二者区别hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广。
2022-10-13 11:12:40
1214
1
原创 系统分析与设计 大工复习必考知识点
系统分析与设计大工必考题1. 系统分析包含哪些 什么是系统分析 最终形成什么（系统分析报告）1.1 系统分析包含哪些1.2 什么是系统分析1.3 最终形成什么2. 系统规划 关键路线（路径）最早完成时间2.1 关键路线（路径）最早完成时间3. 数据库设计 E-R模型，三范式3.1 E-R模型3.2 范式4. 工程伦理、自主知识产权4.1 工程伦理自主知识产权5. 实际需求（敏捷） 估算工期 抢工期 采用哪些方法 怎么去保证项目的质量与进度5.1 实际需求（敏捷开发）5.2 估算工期 抢工期5.3 怎
2022-10-09 11:23:48
944
原创 什么是分布式和集群？它们有什么区别
例如：客人点菜，需要买菜，炒菜，上菜三个子任务完成，那么由3个人分别完成这三个任务，一个人买菜，一个人炒菜，一个人上菜，这就是分布式。例如：客人点菜，店里有三个人，他们每个人都会买菜炒菜和上菜，他们共同完成任务，一个人炒青菜，一个人炖汤，一个人卤肉，这就是集群。集群（cluster）是指在多台不同的服务器中部署相同应用或服务模块，构成一个集群，通过负载均衡设备对外提供服务。分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。
2022-09-23 21:08:06
5320
原创 深入浅出Zookeeper特性以及Paxos算法
Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。
2022-09-23 21:03:38
1180
原创 Vmware的深入浅出——简单谈谈虚拟机模式
又称网络适配器，是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件。它使得用户可以透过电缆或无线相互连接。在网络上的每一个计算机网卡都必须拥有一个独一无二的MAC地址。使用VMware Workstation安装一个虚拟机时就会自动安装一块虚拟有线网卡，此外还可手动给虚拟机添加多块虚拟网卡。VMware Workstation在安装时为我们自动安装了20台虚拟交换机。桥接模式就是将主机网卡与虚拟机虚拟网卡利用虚拟网桥进行通信。在桥接的作用下，类似于把物理主机虚拟为一个交换机，所有桥接设置的。
2022-09-22 20:12:04
1352
原创 SQL学习——进阶篇
窗口函数原则上只能写在select子句中，partition子句可以省略，省略就是不指定分组，但是，这就失去了窗口函数的功能，所以一般不要这么使用。，所以经常用来在每组内排名，同时具有分组（partition by）和排序（order by）的功能。，如排名问题：每个部门按业绩来排名；topN问题：找出每个部门排名前N的员工进行奖励。其中AxB 与 BxA 就是所谓的笛卡尔乘积，很明显AxB!：count(列名)会比count(1)快；：count(1)会比count(列名)快。**窗口函数功能： **
2022-09-11 22:03:24
3117
原创 python高级篇----网络编程与爬虫
TCP 服务端程序必须绑定端口号，否则客户端找不到这个 TCP 服务端程序。listen 后的套接字是被动套接字，只负责接收新的客户端的连接请求，不能收发消息。当 TCP 客户端程序和 TCP 服务端程序连接成功后， TCP 服务器端程序会产生一个新的套接字，收发客户端消息使用该套接字。关闭 accept 返回的套接字意味着和这个客户端已经通信完毕。关闭 listen 后的套接字意味着服务端的套接字关闭了，会导致新的客户端不能连接服务端，但是之前已经接成功的客户端还能正常通信。
2022-09-05 17:51:40
1016
原创 python进阶篇
deepcopy函数是深拷贝, 只要发现对象有可变类型就会对该对象到最后一个可变类型的每一层对象就行拷贝, 对每一层拷贝的对象都会开辟新的内存空间进行存储。copy函数是浅拷贝，只对可变类型的第一层对象进行拷贝，对拷贝的对象开辟新的内存空间进行存储，不会拷贝对象内部的子对象。闭包的作用： 保存函数内部的变量，让函数内部的变量，不会随着函数调用结束而销毁。装饰器的作用： 在不改变原函数代码的基础上以及调用方式，给函数增加新的功能。可以在子类中去调用父类中的同名方法。方法中的self，表示对象本身。
2022-09-05 17:51:18
1192
原创 Python——报错UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x89 in position 0: invalid start byte
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xae in position 42: illegal multibyte sequence
2022-09-04 11:24:36
7012
3
原创 python基础篇
在函数的内部定义全局变量, 要用 global修饰，但不能立刻赋值. def func4() : # global a =5 # 报错 global aa = 11 print(a) # 调用函数. def func5() : print(a) # print(a) # 报错（name 'a' is not defined） func4() func5() print(a)......
2022-08-30 20:11:27
804
原创 软件工程---(下) 大工复习必考内容
OCP是相对的，不存在绝对符合OCP的设计，而且一个软件系统的所有模块不可能都满足OCP，要做的是尽量最小化不满足OCP的模块数量。当系统的状态变化时，系统便改变所选的子类，从而对类在不同状态下的行为进行管理。这个时候的门面类作用相当于前面介绍的适配器，负责对外部请求的转发，并且可以在此基础上进行功能的扩充，如对传递进来的参数的验证等。策略模式的好处是能够使得算法可以在不影响到客户端的情况下发生变化，而且将算法的行为和环境分开，环境类负责维持和查询行为类，各种算法在具体的策略类中提供。
2022-08-29 12:11:44
360
原创 软件工程---(上) 大工复习必考内容
大工软件工程复习第一章 软件工程概述统一建模语言及其构成软件开发方法传统开发面向对象方法第二章 软件开发过程软件开发各阶段活动及任务传统生命周期模型瀑布模型快速原型模型增量模型和螺旋模型喷泉模型敏捷软件开发模型第三章 需求分析用例图及其应用数据流图及其应用（DFD）数据流图的基本符号加工中常见关系符号数据流图画法**举例：**第一章 软件工程概述统一建模语言及其构成统一建模语言（UML）提供了一整套对系统建模的基础设施，包括模型的表示及建模的方法等，可以适用不同的系统层次。统一建模语言顾名思义它是一
2022-08-29 12:11:22
836
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人