- 博客(8)
- 收藏
- 关注
RSS订阅原创 【Windows与VMware虚拟机共享文件夹】
在虚拟机与远程软件建立通信时，往往需要很多配置，当然Xshell和MobaXterm这类远程软件也有他们的优点，但有很多原因会导致通信失败，就是远程软件突然连接不到虚拟机了，这就很苦恼，我就遇到了这样的问题，我排查了所有问题，但就是网络超时，连接不上，所以就索性建立一个与Windows的共享文件夹吧。打开终端：输入以下命令，第二个ls下面没有东西是因为你现在创建的共享文件夹内还没有东西。上面的挂载重启之后就失效了，所以为了避免麻烦，设置永久挂载。是我的共享文件夹名字，请替换你自己设置的文件夹名字！
2024-04-20 01:09:17
1245
3
原创 【Spark独立应用程序编程】
在这种设置下，比较适合采用client模式，在client模式下，Driver直接在spark-submit进程中启动，这个进程直接作为集群的客户端，应用程序的输入和输出都和控制台相连接。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在启动 Spark shell 的过程中，从屏幕的显示信息中找到。代码第8行的/usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。后面再次运行就很快了。
2024-03-18 20:47:21
1181
1
原创 【Hadoop和Spark伪分布式安装与使用】
另外需要注意，上面的配置项中，PYTHONPATH这一行有个py4j-0.10.4-src.zip，这个zip文件的版本号一定要和“/usr/local/spark/python/lib”目录下的py4j-0.10.4-src.zip文件保持版本一致。比如，如果“/usr/local/spark/python/lib”目录下是py4j-0.10.7-src.zip，那么，PYTHONPATH这一行后面也要写py4j-0.10.7-src.zip，从而使二者版本一致。下载速度较慢，耐心等待一下。
2024-03-12 18:53:06
1173
1
原创 【Hadoop和Spark伪分布式安装与使用】
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的/user/hadoop/input 中。添加后执行 source ~/.bashrc 使设置生效，生效后，在任意目录中，都可以直接使用 hdfs 等命令了，比如你可以试试这句命令：hdfs dfs -ls input，虽然但是，要启动Hadoop或者YARN还是都需要到/usr/local/hadoop目录下才能启动。
2024-03-11 22:33:42
975
原创 【Hadoop和Spark伪分布式安装与使用】
上期已将Hadoop安装好了，接下来我们继续Hadoop的配置Hadoop 默认模式为非分布式模式，非分布式即单 Java 进程，方便进行调试。运行一个grep 例子，将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将删除。
2024-03-08 20:01:34
1245
1
原创 【Hadoop和Spark伪分布式安装与使用】
本教程（也算不上不哈）适用于从零开始安装，就是电脑上什么都没安装的那种，因为本人就是，看到这篇文章的伙伴，让我们一起安装吧！注意下面下载的所有文件均是免费的，如有网页弹出付费，请及时叉掉，我提供的一般都是官方网站，谨防受骗，在此温馨提醒！重启后桌面如果还是英文的话，按以下设置：1、右键单击，点击设置，找到语言设置，设置为chinese即可，下面是我汉化后的，可以做个参考。由于本文着重点在于“Hadoop和Spark伪分布式安装”，所以虚拟机的安装我就不一个一个截图了，但又详细的步骤说明，大家可以参考一下。
2024-03-07 19:42:41
1300
1
原创 【虚拟机中安装配置eclipse第二期】
接上一期，选择一个远程软件，连接到你的虚拟机。（我用的是MobaXterm，这个软件打开后长时间无操作的话，会出现小企鹅，但不影响软件的使用，但是必须要软件重启之后才能正常使用，所以不用的话及时关闭）
2023-11-20 15:16:40
903
1
空空如也
Linux环境下启动flume出错
2024-05-22
Caused by: com.mysql.cj.exceptions.CJCommunicationsException: Communications link failure
2024-04-20
关于#C语言#的问题，如何解决？
2023-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人