- 博客(10)
- 收藏
- 关注
RSS订阅原创 使用hive处理.csv文件，再通过sqoop写入mysql数据库
home/hadoop/Desktop/videoGame.csv 是文件在linux的存储位置。根据自己的需要修改一下相应的内容，注意大小写。
2024-02-06 15:35:07
546
原创 解决每次重启电脑后，linux系统中ens33中的inet地址发生改变的问题
在Linux系统中，ens33 是一种网络接口的命名方式，而 “inet 地址” 通常指的是IPv4地址。如果你想让 ens33 网络接口的 IPv4 地址在电脑重启后不发生改变，可以使用静态IP地址而不是动态分配的方式（比如DHCP）。
2024-02-04 22:42:16
1290
1
原创 本地计算机java代码和虚拟机中的hadoop集群连接失败问题
在idea中编写java代码，无法连接到VMware中Ubuntu下搭建的hadoop环境的解决办法
2023-11-18 11:16:58
671
1
原创 VMware中Linux系统下（Ubuntu）Hadoop的安装和使用步骤
VMware中Linux系统下（Ubuntu）Hadoop的安装和使用步骤此篇文章中安装的是：jdk1.8.0_202、hadoop-3.2.4。
2023-10-06 23:42:52
2968
5
原创 Win11使用docker compose 部署spark和mysql，进行 Spark SQL 读写数据库操作
http://127.0.0.1:8888/lab（这个直接在log里点链接就行）在docker desktop中可看到添加成功。容器名称可用docker ps 查一下。在powershell中进入mysql。内容要与yml文件里的内容保持一致。
2023-10-06 23:40:49
354
1
原创 Win11 Docker 快速部署spark（快速部署pySpark 、使用Docker compose部署spark）
构建镜像完成后，还需要修改 docker-compose.yml 文件，使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群，同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD，在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信，首先需要启动 ssh 服务，然后依次启动 HDFS 和 YARN 集群。：挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share；
2023-10-06 23:39:48
2744
1
原创 Win11 在Docker中部署Hadoop、Spark
在/usr/local/hadoop/etc/hadoop/目录下修改（直接在docker中找到相应文件夹改即可）注：一般情况很快就更新好了，如果更新超级慢（注意看一下是否修改了docker的镜像。修改hadoop-env.sh文件，加入Hadoop home参数。修改hadoop-env.sh文件，加入Hadoop home参数。查看 HDFS 中的 /output 文件夹的内容。全部修改为（删掉localhost）全部修改为（删掉localhost）直接在此界面修改（把原来的全删了）
2023-10-06 23:38:08
643
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人