- 博客(62)
- 收藏
- 关注
RSS订阅原创 Mapreduce初使用
比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。流式计算的输入数据是动态的，会一条一条的过来，是动态产生的，而MapReduce的输入数据集是静态的，不能动态变化。当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
2025-04-02 09:12:23
590
原创 【mapreduce】工作原理
Mapper会接收键值对作为输入（通常是文件中的每一行内容），并对每一条记录调用用户自定义的map()函数，生成一系列中间键值对 (key, value)。Reducer接收到所有属于特定key的value列表后，会对它们应用用户定义的reduce()函数，进一步合并、统计或转换这些值。将待处理的大规模数据集按照一定的规则划分为若干个小的数据块（称为“分片”），每个分片可以分配到集群的不同节点。Reduce完成后，结果被写入磁盘或其他持久化存储介质，供后续分析使用。
2025-03-31 19:32:57
236
原创 HDFS客户端操作
在 Java 项目中，通常会使用到许多第三方库。Maven 可以帮助你管理这些依赖项，你只需在项目的 `pom.xml` 文件中声明所需的依赖，Maven 就会自动从远程仓库下载这些依赖项，并将其添加到项目的类路径中。
2025-03-28 15:58:14
186
原创 环境变量-
环境变量：环境变量一般是指在操作系统中用来指定操作系统运行环境的一些参数（变量），如：我们在编写C/C++代码的时候，在链接的时候，从来不知道我们所链接的动态静态库（后面学）在哪里，但是照样可以链接成功，生成可执行程序，原因就是有相关环境变量帮助编译器进行查找。环境变量：上面已经介绍过环境变量的概念，也介绍了查看系统环境变量的方法，其在系统中的展示方法通常为，环境变量=值:值…通常环境变量都会存储相应的值，比如：PATH环境变量存储的是常用指令的路径，方便系统快速找到对应命令的路径，从而执行对应命令。
2025-03-26 08:55:56
281
原创 hadoop配置集群-rsync命令同步文件夹
在opt文件夹里面新建conf文件夹，然后——————在hadoop100里面输入：touch 1.txt 2.txt 3.txt 4.txt 新建四个文件。在hadoop100里面输入代码：rsync -av conf/ root@hadoop101:/opt/conf/如果找不到rsync命令。如果要在hadoop100里面的opt新建新的文件，就要在控制台重新输入rsync命令。然后在hadoop101里面的opt文件夹下面的conf文件夹里面刷新就可以出来。下载之后就可以输入rsync命令。
2025-03-12 11:39:36
155
原创 yum修改阿里云
第二步：继续输入命令：sudo yum clean all sudo yum makecache。第三步：输入命令:yum install tree。
2025-03-05 09:52:42
737
原创 安装虚拟机
它调用CentOS-7-x86_64-Minimal-2009.iso来安装操作系统.如果安装VMware17.6时，提示缺少文件，再来安装它，否则不用。1. CentOS-7-x86_64-Minimal-2009.iso ： linux安装文件。D:\CentOS-7-x86_64-Minimal-2009.iso等待下载完成。1，先下载VC_redist.x86，以及VMware17.6。2，打开虚拟机，新建一个虚拟机使用程序光盘映像文件。5，点击完成，然后设置密码，点击两下完成，
2025-02-19 11:35:14
106
原创 scala概念
泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效 地增强程序的适用性，使用泛型可以。匹配的字符串以数字 "1" 开头，紧接着是一个3到8之间的数字，然后是任意9个数字，最后以字母 "r" 结尾。修饰的属性或方法可以被定义它们的类、同一个包中的其他类以及子类访问。这些量词与它们对应的贪婪量词相同，但它们是懒惰的，即尽可能少地匹配字符。都是封装的一部分，用于限制类成员的访问，以保护类的内部状态和行为。成员不能被接口的实现类访问，因为它们对所有外部类都是不可见的。
2024-12-31 18:03:53
1663
原创 scala图书借阅系统完整代码
9,你当像鸟飞往你的山,塔拉・韦斯特弗,true。borrow_records.txt文件。3,埃隆・马斯克传,艾萨克森,true。5,杨苡口述自传,杨苡、余斌,true。8,暮色将尽,戴安娜・阿西尔,true。7,知行合一王阳明,度阴山,true。1,人性的弱点,卡耐基,false。10,邓小平时代,傅高义,true。4,苏东坡传,林语堂,true。6,曾国藩传,张宏杰,true。2,理想国,柏拉图,true。fan,123,普通用户。借书还书会自动更新记录。users.txt文件。
2024-12-26 09:26:49
473
原创 Scala项目（一）
在项目下新建文件books.txt复制一些书籍作者，书籍名称，是否外借。1，创建dao，models，service，ui等软件包。最后在软件包ui里的scala中调用代码。2，在各软件包下创建scala类。软件包models里的代码。软件包service代码。软件包dao里的代码。
2024-12-17 17:55:44
614
原创 Scala泛型特质
val li = List(stu("小花",18),stu("小美",19))//定义一个函数，用来求List元素中最大值。
2024-12-12 09:36:56
224
原创 定义一个Pair泛型类，该类包含两个字段，且两个字段不固定。创建不同类型的Pair泛型类对象，并打印
val p3 = new Pair[String]("大陆","小帅")
2024-12-12 08:31:53
141
原创 Scala的隐式转换规则
2.无歧在同一作用域不可以有歧义，即当有两个变量定义的类型相同时，只能保留一个。4.不能多次转换规则（从源类型到目的地类型中间是一次性转换的 ）scala中的隐式转换规则。
2024-12-10 16:33:06
559
原创 Scala的隐式转换
在实际编程中，要想把一个不匹配的类型赋值，需要先转换成匹配的类型。scala的隐式转换会自动将一种类型的数据转换成另一种类型。隐式转换就是scala自动转换。对于户编程而言不可见，不需要手动编写转换代码。隐式转换与模式匹配都是scala中提供的比较强大的特性。scala的隐式转换声明关键字为implicit。3.scala隐式转换声明。
2024-12-10 14:12:56
295
原创 Scala习题
3.对各科成绩进行排序，并排列出前三名。2.计算总成绩，并排列前三名。完成之后目录之下会有新的文件。最后的结果写到一个新文件。姓名，语文，数学，英语。张伟，87，92，88。李娜，90，85，95。王强，78，90，82。赵敏，92，88，91。孙涛，85，82，89。周梅，88，87，93。吴刚，80，85，86。郑洁，91，89，94。陈晨，83，84，88。林峰，86，91，87。
2024-11-26 15:53:41
665
原创 Scala的集合复习
集合（可变 不可变）：Set，List（序列Sep：表示有先后顺序的集合。集Set：表示无序且不重复的集合。（二）Scala中的字符串。映射Map：表示键值。
2024-11-19 18:03:48
262
原创 Scala中的Array
Array是一种在Scala中用于存储固定大小，相同类型元素的数据结构，Array是可变。类型有两种：Array表示长度不可变的数组，和ArrayBuffer表示长度可变的数组。(一)Array的定义。
2024-11-14 09:39:58
593
原创 Scala的迭代器
复制 it.copy/ToArray/it.copyToBuffe。Scala Iterator（迭代器）不是一个集合，它是一种用于访问集合的方法。如果要访问集合，需要通过集合对应的迭代器的方法来访问。另外，还可以利用集合本身提供的方法访问集合。温馨提示：迭代器不可以复用，当遍历完迭代器后，会自动结束，即不可以对同一个迭代器遍历两边。格式：while （it.hasNext）三，迭代器的常用方法。
2024-11-12 18:03:18
885
原创 Scala的Set集合
内置了toString，equals，hashCode特别适用于来定义数据格式。case class 类名(属性名:类型,属性名:类型)1：case class的定义语法是什么？2：case class的特点？它的属性值不能被修改。
2024-11-12 16:31:13
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人