- 博客(44)
- 收藏
- 关注
RSS订阅原创 从0开始配置spark-local模式
这里使用单机模式快运行第一个Spark程序，让大家有个基本的印象。在安装Spark时，它就提供了一些示例程序，我们可以直接来调用。进入到spark-local，运行命令spark-submit命令。mv是linux的命令，这里的 \ 是换行输入的意思，整体的代码就只有一句，只不过太长了，我们把它拆开成几个部分来输入，其中\ 的意思就是这里写不下，写在下一行。接下来的操作，我们把它上传到集群中的节点，并解压运行。1.打开etc/profile.d/my_env.sh文件中，补充设置spark的环境变量。
2025-04-21 11:05:44
248
原创 spark和hadoop的区别与联系
Hadoop 负责数据采集、存储等基础工作，Spark 在此之上进行更复杂高效的数据处理和分析，相互配合完成从数据收集到价值挖掘的全过程。Spark 可以直接读取 Hadoop 中 HDFS 存储的数据，方便企业在已有 Hadoop 存储系统基础上，利用 Spark 计算能力处理数据，实现存储与计算的分离与协同。它们都来自 Apache 基金会开源项目，目标都是为大数据处理提供高效、可靠、可扩展的解决方案，且社区不断有开发者参与完善，推动大数据技术在各行业的应用发展。
2025-04-21 08:25:20
244
原创 虚拟机配置
点击 “自定义硬件” 按钮，对虚拟机的硬件进行详细配置：内存：根据物理机的内存大小和使用需求分配虚拟机的内存。如果物理机内存为 16GB，建议给虚拟机分配 4GB 或 8GB 内存。处理器：设置虚拟机使用的 CPU 核心数。一般可以根据物理机的 CPU 核心数进行分配，例如物理机为 4 核 CPU，可以给虚拟机分配 2 个核心。网络适配器：选择虚拟机的网络连接方式，常见的有 “桥接模式”“NAT 模式” 和 “仅主机模式”。桥接模式下，虚拟机可以直接连接到物理网络，拥有独立的 IP 地址；
2025-03-03 19:44:38
578
原创 vi的基本使用
保存并退出：在命令模式下输入 `:wq` 或 `:x`，然后按 `Enter`。- `ndd`：删除从当前行开始的 `n` 行（如 `3dd` 删除 3 行）- `nyy`：复制从当前行开始的 `n` 行（如 `3yy` 复制 3 行）- `nG`：移动到第 `n` 行（如 `5G` 移动到第 5 行）- `/关键词`：向下查找（按 `n` 查找下一个，`N` 查找上一个）- 在命令模式下按 `i`、`a`、`o` 等键可进入插入模式。5. 保存并退出：输入 `:wq`，按 `Enter。
2025-02-24 23:27:26
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人