- 博客(55)
- 收藏
- 关注
RSS订阅原创 hadoop集群配置-scp拓展使用
上述脚本逐行读取 slaves.txt 中的IP地址，然后使用 scp 将 core - site.xml 文件分发到各个从节点的指定目录。可以使用 ssh 的一些选项来优化 scp 传输。这样可以让 scp 在后台运行，不影响当前终端的其他操作。结合 ssh 选项优化传输。分发带有特定前缀的文件。
2025-03-31 23:30:11
212
原创 hadoop集群配置-scp命令
假设你在Hadoop集群的主节点上修改了 hadoop 的配置文件 core-site.xml ，需要将其复制到所有从节点上。scp 命令用于在不同主机之间复制文件或目录，在Hadoop集群配置中常用于将配置文件或相关资源分发到各个节点。在实际使用中，为了方便操作，可以将所有从节点的IP地址写入一个文件，然后通过脚本循环执行 scp 命令来实现批量分发。scp [-r] [源文件或目录] [目标用户@目标主机:目标路径]- -r ：递归复制目录及其子目录和文件。
2025-03-31 23:29:19
268
原创 如何调整yarn.nodemanager.vmem-pmem-ratio参数？
在集群环境中，可以通过 yarn - daemon.sh stop resourcemanager 和 yarn - daemon.sh start resourcemanager 命令重启YARN，或者使用集群管理工具（如Ambari或Cloudera Manager）进行重启操作。找到 yarn - site.xml 文件，该文件通常位于Hadoop配置目录中，例如 /etc/hadoop/conf 或 /opt/module/hadoop - 3.1.3/etc/hadoop。
2025-03-31 23:27:54
248
原创 Hadoop集群的常用命令
hadoop jar <jar_path> <main_class> [args] ：提交一个Hadoop作业，指定Jar包和主类，以及作业的参数。- hadoop fs -put <local_path> <hdfs_path> ：将本地文件上传到Hadoop文件系统指定路径。- hadoop fs -get <hdfs_path> <local_path> ：从Hadoop文件系统下载文件到本地指定路径。- hadoop fs -ls <path> ：列出指定路径下的文件和目录。
2025-03-31 23:26:55
211
原创 mapreduce的工作原理
Map函数将输入数据解析成键值对，然后根据业务逻辑对键值对进行处理，生成一系列中间键值对。- 例如，在一个统计单词出现次数的任务中，Map函数可能会将输入的文本行解析成单词和1的键值对，如("hello", 1)。- 如在单词计数任务中，Reduce函数会将所有键为"hello"的值相加，得到"hello"单词的出现次数。- Map阶段产生的中间键值对会按照键进行分区和排序，然后将相同键的键值对发送到同一个Reduce节点上。将大规模数据集分割成多个小的分片，这些分片会被分配到不同的计算节点上进行处理。
2025-03-31 23:26:03
186
原创 在虚拟机上安装Hadoop
配置环境变量：开 .bashrc 或 .bash_profile 文件，在文件末尾添加配置，如 export HADOOP_HOME=/path/to/hadoop-3.3.1 等，将 /path/to/hadoop-3.3.1 替换为实际路径，保存后执行 source 命令使配置生效。- 安装JDK：Hadoop需要Java环境，使用命令安装OpenJDK，如 sudo apt install openjdk-8-jdk ，安装完成后用 java -version 验证。
2025-03-08 23:51:47
246
原创 虚拟机如何设置ip
• 对于“仅主机”模式，还需要在VirtualBox的“全局设置”中配置虚拟网络的IP范围和子网掩码。• 点击左侧的“更改适配器设置”，找到VMware虚拟网卡（如“VMnet1”或“VMnet8”）。• 对于“仅主机”模式，还需要在VMware的“虚拟网络编辑器”中配置虚拟网络的IP范围和子网掩码。• 在虚拟机中，右键点击任务栏右下角的网络图标，选择“打开网络和共享中心”。• 在虚拟机中，右键点击任务栏右下角的网络图标，选择“打开网络和共享中心”。在设置IP地址之前，还需要确保虚拟机的网络模式配置正确。
2025-03-01 07:44:38
1666
原创 vi编辑器的使用
• 如果需要快速定位到某一行，可以输入行号后按`G`键，例如`10G`跳到第10行。• `:s/old/new/`：将当前行的第一个`old`替换为`new`• `:s/old/new/g`：将当前行的所有`old`替换为`new`• `:%s/old/new/g`：将文件中所有`old`替换为`new`• 启动VI编辑器：在终端中输入`vi`或`vim`，然后按回车键。• `ndd`：删除从当前行开始的n行（例如`3dd`删除3行）• `nyy`：复制从当前行开始的n行（例如`3yy`复制3行）
2025-03-01 07:41:56
270
原创 验证用户名是否合法
" //不合法，！]{5,11}\".r\n println(reg.matches(name1)) //matches对字符串做验证，返回boolean值\n println(reg.matches(name2))\n println(reg.matches(name3))\n println(reg.matches(name4))\n println(reg.matches(name5))\n \n }\n \n}
2024-12-18 12:06:34
209
原创 queue 和 Stack
println(s1.pop())//出栈。println(s1.pop())//出栈。println(s1.pop())//出栈。println(s1.pop())//出栈。q1.enqueue(2)//入队。q1.enqueue(3)//入队。q1.enqueue(4)//入队。//queue:队列.排队打饭....s1.push(4)//入栈。//出队：获取队首的元素。//出队：获取队首的元素。
2024-11-28 10:49:40
668
原创 身份证号上的秘密
val m1 = Map((41,"河南"),(42,"湖北"),(43,"湖南"),(44,"广东"),(45,"广西"),(46,"海南"))println(s"籍贯是：${m1.get(province)}")println(s"身份证号${id}是不合法的")println(s"生日是:${birthday}")println(s"身份证号${id}是合法的")println(s"身份证号是：${id}")println(s"年份是：${year}")println("性别是：女孩")
2024-11-28 10:48:42
254
原创 打印九九乘法表（循环嵌套）
for (j <- 1 to i){//决定有几列。for (i <- 1 to 9){//决定有几行。println()//换行。
2024-11-28 10:45:40
101
原创 文本文档输出
fileout.println("夏萧因你快给我出来啊啊啊啊啊啊啊啊啊啊啊啊啊......")fileout.println("我抽卡一定百分百会中 "*100 )fileout.println("我想输入的内容:")
2024-11-20 17:48:20
95
原创 链表结构
println(s"200在不在list中${li1.contains(200)}")println(li1(1))//1 就是第2个元素。// 操作：添加，删除，修改，查询，遍历。// 有序：下标从0开始，可以依次访问。// 分类：可变，不可变（默认不可变）// 2.1 删除某个元素。// 链表结构：有头有尾。// 通过下标来访问元素。
2024-11-20 17:45:23
119
原创 访问控制权限
/private[p4]:表示，这个方法在p4这个包中，是可以访问的.//private[this]:修饰符,这个属性，只能在当前对象使用!println(s"现在的余额是:${balance}")//转账:把当前账户余额转出 money 给 ta 这个账户。// A 减少 B 增多。
2024-11-04 16:17:54
316
原创 伴生类与伴生对象
/1.private 修饰的构造函数，在类外部不能访问，所以不能在测试类中使用new。private val instance = new Stu("小花")//private的构造函数，在伴生对象内部可以使用！//var s1 = new Stu("小花")//var s = new Stu("小花")//单例模式：让Stu类只能创建一个对象。//3.提供一个可以访问这个对象的方法。//2.定义唯一的一个对象。
2024-10-27 17:49:29
173
原创 高阶函数2
/sorted:按自然顺序对数组元素排序（数字：从小到大，字典：字典顺序），返回排序之后的新数组。语法： def reduce[B >: A](op: (B, B) => B) : B。fold：作用：带初始值的reduce，对数组的每个元素执行指定的二元折叠操作。// 格式：fold（初始值)(二元函数=>返回值)reduce: 对不变序列的每个元素执行指定的二元规约操作。reduceLeft： 从左往右的取值序列进行运算。
2024-10-16 16:02:20
231
原创 高阶函数
/ var arr = Array(10, 22, 13, 54) //定义一个数组有4个元素。// println(arr(0)) //获取元素，第一个元素。// //定义数组 ：Array(1, 2, 3, 4)// println(arr(2)) //获取第三个元素。//作用:通过对数组的每一个元素应用一个函数来构建一个新数组。//作用：通过对数组的每一个元素应用一个函数，不返回新数组。//定义一维数组：Array(1,2,3,4)// //遍历数组。
2024-10-14 17:11:16
391
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人