- 博客(18)
- 问答 (1)
- 收藏
- 关注
原创 INFS7410 Lecture Notes - Week 4 (Retrieval Models II)
INFS7410 - Week 4
2022-08-12 20:59:23
559
2
原创 排序算法笔记 - 高级排序
1. 希尔排序希尔排序是插入排序的一种, 是插入排序的一种更高效的排序算法.1.1 排序原理1. 选定一个增长量h, 按照增长量h作为数据分组的依据, 对数据进行分组2. 对分好组的每一组数据完成插入排序3. 减小增长量, 最小减为1, 重复第二步的操作增长量h的确定: 增长量h的值没有固定的规则, 这里采用如下规则:int h = 1;while(h < N){ // 此处N为数组的长度 h = 2 * h + 1;}// 循环结束后, 就可以确定h的最.
2022-03-03 20:09:43
391
原创 排序算法笔记 - 简单排序
目录1. 冒泡排序1.1 排序原理1.2 AIP设计1.3 代码实现1.4 时间复杂度分析2. 选择排序2.1 排序原理2.2 API设计2.3 代码实现2.4 时间复杂度分析3. 插入排序3.1 排序原理3.2 API设计3.3 代码实现3.4 时间复杂度分析1. 冒泡排序1.1 排序原理1. 从第一个元素开始, 比较相邻的元素. 如果前一个元素比后一个元素大, 就交换这两个元素的位置2. 对每一个对相邻的元素做同样的工作...
2022-02-24 22:13:43
93
原创 Hadoop学习笔记: MapReduce(2)
一. 切片与MapTask并行度决定机制现有如下的问题: 1G的数据, 启动8个MapTask, 可以提高集群的并发处理能力. 那么1K的数据, 如果也启动8个MapTask, 会提高集群性能吗? MapTask并行任务是否是越多越好呢? 哪些因素影响了MapTask并行度?MapTask并行度决定机制首先需要区分两个概念:1.数据块: 数据块(Blocks)是HDFS物理上把数据分成不同的块. 数据块是HDFS的存储数据单位2.数据切片:数据切片只是在逻辑上对输入进行分片, 并不会在...
2022-02-07 09:22:37
1094
原创 Hadoop学习笔记: MapReduce(1)
一. MapReduce核心思想1) 分布式运算程序往往需要分成Map和Reduce两个阶段2) 第一个阶段的MapTask并发实例, 完全并行运行, 互不相干3) 第二个阶段的ReduceTask并发实例同样互不相干, 但它们的数据依赖于上一个阶段的所有MapTask并发实例的输出4) MapReduce编程模型只能包含一个Map和一个Reduce阶段, 如果用户的业务逻辑非常复杂, 那就只能多个MapReudce程序串行执行MapReduce进程一个完整的MapReduce程序在分
2022-01-09 15:54:39
634
原创 Hadoop学习笔记: HDFS(2)
一. HDFS写数据流程1) 客户端创建一个分布式文件系统(Distributed File System)模块向NameNode发送上传文件的请求, NameNode检查目标文件是否存在, 客户端请求的父目录是否存在2) NameNode返回是否可以上传文件的消息3) 客户端向NameNode发送上传第一个块的请求, 同时要求返回上传的DataNode位置4) NameNode返回可以上传的3个节点5)客户端通过FSDataOutputStream模块向DataNode1发送建立传输通..
2021-12-07 17:25:24
1281
原创 Hadoop学习笔记: HDFS(1)
一. HDFS概述HDFS组成架构NameNode(nn) 是整个集群的管理. 管理HDFS的名称空间, 配置副本策略, 数据块(Block)映射信息以及处理客户端读写请求.DataNode 是下属的工作组, 当NameNode下达命令时, 由DataNode来实际执行命令: 存储实际的数据块, 以及执行数据块的读/写操作Client也即客户端, 是用户的操作端. 主要承担以下任务:> 文件切分. 用户将文件上传至HDFS时, Client将文件切分成Block进行上传...
2021-12-06 20:00:52
160
原创 Hadoop学习笔记: 入门(2)
一.SSH无密登录配置一般情况下, 从一台主机访问另一台未配置过SSH的主机时, 需要输入root账号的密码, 这会在进行集群操作时造成很大的不便. 这时, 便需要对主机进行SSH无密登录配置.ssh连接另一主机语法:[atguigu@hadoop102 ~]$ ssh @hostname免密登录原理如下所示, 如果需要从A无密访问B, 则需要在A上对B进行ssh免密配置. 此时, A会生成一对密钥, 分别是公钥和密钥. 公钥会分发给外部主机, 也即B服务器, 用于给外部服务器..
2021-12-06 17:19:38
1765
原创 Hadoop学习笔记: 入门(1)
*学习过程中使用VMware进行多台服务器的搭建, 全程在一台主机上进行一. Hadoop运行环境搭建配置环境变量(JAVA, Hadoop)为何需要配置环境变量?例如JDK, 程序都集中的放置在Java安装目录下的bin目录下,那么,当你需要执行这些程序时,你需要告诉系统在哪个目录下寻找,只有你告诉系统正确的目录,系统才可以给你提供这一系列的命令供你使用。环境变量的配置就是做这么一个工作。那么,将该目录做成一个变量放置到系统的内置变量PATH中是一个不错的选择。配置环境变量步骤
2021-11-26 20:26:58
1238
原创 Excel学习笔记 - 公式的名称, 公式, 函数
1. 定义名称公式选项卡 -- 定义名称可对相应区域进行命名, 命名后可在名称管理器中对各个名称进行编辑和修改对区域进行命名的作用是, 使得公式的可读性更高, 便于用户进行理解...
2021-09-16 11:28:58
359
原创 Excel学习笔记 - 单元格的引用
1. 相对引用当复制公式到其他单元格时, Excel保持从属单元格与引用单元格的相对位置不变, 称为相对引用.例: A1+B22. 绝对引用当复制公式到其他单元格时, Excel 仅保持公式所引用的单元格绝对位置不变, 称为绝对引用.例: =C8*$A$1, 此时进行复制时, 对于A1的引用会保持不变3. 混合引用当复制公式到其他单元格时, Excel仅保持所引用单元格的行或列方向之一的绝对位置不变(通过$来决定), 而另一个方向位置发生变化, 这种引用称为混合引用.例: $
2021-09-16 10:15:58
1810
原创 Excel学习笔记 - 公式和函数
1. 输入公式公式以等号开头公式处于输入状态时,可直接点击单元格添加至公式中同列的应用相同公式的单元格,可直接利用填充功能进行计算2. 运算符及运算顺序运算符:- 负号 =2*-8 % 百分号 =20*5% ^ 乘幂 =3^3 *和/ 乘除 =3*3 +和- 加减 =3+3 =, <>, >, <, >=, <= 比较运算符,比较运算中,数值<文本<F
2021-09-15 22:32:16
223
原创 Excel学习笔记 - 查找表格数据
1. 查找:快捷键Ctrl+F模糊查找通配符:?——单个字符;*:剩余的多个字符可通过单元格格式进行筛选,通过特定内容和特定格式进行查找(可手动设定,也可从现有单元格选择)2. 查找公式:开始栏——查找和选择——公式直接查找有公式的单元格除此之外,查找和选择中还可以查找其他对象3. 快速定位:快捷键Ctrl+G引用位置:‘[引用工作簿名称]+工作表名’+!+单元格或单元格范围例:'[1-10.xlsx]Sheet1'!A1 '[1-10.xlsx]Shee...
2021-09-15 21:07:52
2367
空空如也
R语言 function返回值为NULL
2021-03-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人