
大数据处理与应用
文章平均质量分 85
WE-ubytt
这个作者很懒,什么都没留下…
展开
-
NS2安装及入门实例——(ns2.35 / Ubuntu20.04)
安装 ns-allinone-2.35.tar.gz。点击 current release 2.35。解决:全部加上 (char)点击 allinone。原创 2023-08-31 19:56:13 · 5918 阅读 · 6 评论 -
Flink安装与编程实践
Flink的JobManager同时会在8081端口上启动一个Web前端,可以在浏览器中输入“http://localhost:8081”来访问。如果能够看到TaskManagerRunner和StandaloneSessionClusterEntrypoint这两个进程,就说明启动成功。使用jps命令查看进程,成功啦!原创 2023-06-25 22:55:52 · 1270 阅读 · 0 评论 -
Spark集群搭建
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址;原创 2023-06-06 00:51:06 · 1298 阅读 · 0 评论 -
Spark安装和编程实践(Spark2.4.0)
在上面的配置信息中,scalaVersion用来指定scala的版本,sparkcore用来指定spark的版本,这两个版本信息都可以在之前的启动。该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。(第一次时间可能有点长)原创 2023-06-05 23:43:20 · 1473 阅读 · 0 评论 -
HBase集群搭建
启动Zookeeper(所有节点)启动Hadoop(主节点)启动hbase(主节点)原创 2023-06-02 06:08:42 · 695 阅读 · 0 评论 -
Zookeeper集群搭建
将 zoo_sample.cfg 重命名为 zoo.cfg。在Master和Slave1上分别执行,以下代码。将zookeeper目录分发到其他节点。修改 slave1 的 id。原创 2023-06-02 05:55:57 · 1380 阅读 · 0 评论 -
HBase2.2.2安装(单机、伪分布)
查看HBase版本,确定hbase安装成功,命令如下。再次查看HBASE版本,没有问题了。jps测试,成功啦!原创 2023-06-02 04:33:49 · 1152 阅读 · 0 评论 -
Hadoop集群搭建
如果已经正确启动,则在Master节点上可以看到 NameNode、ResourceManager、SecondrryNameNode和JobHistoryServer进程。首次启动Hadoop集群时,需要先在Master节点执行名称节点的格式化(只需要执行这一次,后面再启动Hadoop时,不要再次格式化名称节点),命令如下。保存后执行命令“source ~/.bashrc”,使配置生效。启动Hadoop,在Master节点上进行,执行如下命令。4. 在Slave1节点上,将SSH公匙加入授权。原创 2023-06-02 03:35:00 · 2218 阅读 · 0 评论 -
Hadoop3.1.3安装(单机、伪分布)
首先按键盘的 ctrl + c 中断启动,然后在 ~/.bashrc 中,增加如下两行内容(设置过程与 JAVA_HOME 变量一样,其中 HADOOP_HOME 为 Hadoop 的安装目录)下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以!注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。Hadoop 运行程序时,输出目录不能存在,否则会提示错误。原创 2023-06-02 02:23:45 · 1325 阅读 · 0 评论 -
Ubuntu常见基本问题
【代码】Ubuntu常见基本问题。原创 2023-06-01 11:37:09 · 1011 阅读 · 0 评论