SparkWeb 编译

最新推荐文章于 2020-01-14 07:17:46 发布
原创 最新推荐文章于 2020-01-14 07:17:46 发布 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#xmpp #im

SparkWeb

 

Flex开发的支持XMPP协议的IM客户端

 

代码下载:http://svn.igniterealtime.org/svn/repos/sparkweb/trunk

 

编译之后

Spark源码编译与部署
RainTicking的博客
06-05 697
Spark源码编译与部署
spark3编译安装
weixin_43896884的博客
02-03 1137
由于本人最近在做一个baseline，需要使用到spark sql来连接hive，数据保存在hdfs中。通过本人这几天的不断摸索，终于在实验室服务器上部署完成，现记录安装过程以防未来翻车。以下所有的安装部署都是基于单机版，集群版还在探索中ing。。。。。 Prerequisite： 1、JDK1.8 2、SCALA2.13.4 3、HIVE3 4、HDFS3 ...
sparkweb安装
sui366的专栏
08-16 115
这里所说的安装sparkweb，准确的来讲是red5的应用！   1、下载red5:  下载地址http://www.igniterealtime.org/projects/openfire/plugins-beta.jsp   2、将red5.war上传到openfire安装目录下plugins下   3、打开“服务器设置”——〉“HTTP绑定”，将两个选项分别启用及enabled。...
openfire SparkWeb 安装配置
风行天下
06-21 4838
1 下载http://www.igniterealtime.org/downloads/index.jsp 我下载的是最新版 Openfire 3.6.4     windows平台 openfire_3_6_4.zip Does not include Java JRE May 1, 2009 7.49 MB然后解压,点击bin下的 openfire.exe运行后出现
Openfire+Spark+Spark Web安装配置（配置自己的聊天工具）
保卫的专栏
03-26 1万+
 一、       安装环境操作系统：Windows XP Prefessional SP2服务器软件：Openfire 3.4.2            Openfire Enterprise 3.4.2客户端软件：Spark 2.5.7            Spark Fastpath Webchat 3.4.1JDK：J2SE 5.0 (1.5.0_03)
Openfire+Spark+Spark Web安装配置
阳光下的立人
12-31 5677
Openfire+Spark+Spark Web安装配置   一．安装环境   操作系统：Windows XP Prefessional SP2 服务器软件：Openfire 3.4.2             OpenfireEnterprise 3.4.2 客户端软件：Spark 2.5.7             SparkFastpath Webchat 3.4.1
Spark源码编译及使用
Dangerous的博客
08-17 9908
这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包，为什么不直接用官方的安装包呢？因为我们在使用spark的时候会结合Hadoop来使用，有自己的需求，所以我们使用源码来编译。 首先去官网上来下载源码。 我们选择2.1.0版本。然后解压。spark源码使用maven构建的，所以在编译之前我们最好下载一个maven，maven版本至少在3.3.9至少，另外J...
Spark源码编译
蒋含竹的博客
01-14 1354
Spark源码编译 当前环境 System: CentOS Linux release 7.6.1810 (Core) JDK: java version “1.8.0_231” (HotSpot) Sacla: Scala-2.11.12 Maven: Apache Maven 3.6.3 Spark: spark-2.4.4 官方源码编译文档: http://spark.apache.org...
SparkWeb源码下载及编译
fanxianshi的专栏
07-02 1390
1,sparkweb是基于xmpp协议用flex开发的spark的web版, 后台一般配备openfire, 源码地址http://svn.igniterealtime.org/svn/repos/sparkweb/trunk, 使用svn下载. 2,下载后的sparkweb下目录: assets : 资源文件 SparkWeb : SparkWeb的主工程 SparkWebCommonC
openfire+spark+sparkweb的配置
09-03
【标题】: "openfire+spark+sparkweb的配置指南" 【内容】: 本文将详细介绍如何配置openfire、spark和sparkweb这三款组件，它们是构建即时通讯系统的常用工具。Openfire是一款开源的XMPP服务器，Spark是基于Java的...
spark2.0编译版-适用于hive2.3的hive on spark
09-26
6. **监控和调试**：使用Spark的Web UI（默认端口8080）和Hive的Web UI（默认端口9999）监控任务执行情况，以便找出性能瓶颈并进行调优。 7. **安全性**：如果在生产环境中，还需考虑安全认证，如Kerberos，以及...
ERROR org.mortbay.log - failed java.lang.NoClassDefFoundError: org/apache/log4j/PropertyConfigurator
热门推荐
风行天下
08-02 1万+
今天安装 red5 0.7  下载地址http://osflash.org/red5按照网上的教程step by step的做报错：ERROR org.mortbay.log - failed  java.lang.NoClassDefFoundError: org/apache/log4j/PropertyConfigurator开始以为是log4j的版本问题，下载后，还是不行然
flash socket通信问题
风行天下
03-09 2621
丢包问题flash收不到服务器发来的包，服务端开发人员说，我明明发了？ 一般来说不会丢包，在flash在处理socket发来的数据要注意一个问题，拈包处理。我经过测试，服务端连接发1百个包，每个包大小40个字节左右，可以flash这边就收到9个包，每个包大小380到400左右，服务端连接发1千个包，flash效率低得受不了，IE都死了,好几分钟才活过来.... 还有种可能就
fms3 NetConnection.Connect.Rejected 问题
风行天下
02-07 2336
在本地测试一个简单的视频聊天程序，没有问题一放到服务器去就出现NetConnection.Connect.Rejected  ，总是连接不上 网上搜索找了下，都是说权限，认证的问题，还是没有解决，后面换了个序列号才解决。 用注册机生成的时候一定要选择 Adobe Flash Media Interactive Server 1373-5662-6281-1400-669
用Socket 打造跨语言跨操作系统的网络MORPG游戏(一)
风行天下
08-03 2062
  开发环境如下客户端开发 Flex3服务端a Delphi6b JDK1.6c VS2005操作系统 XP 协议规则：服务端开启，监听8014端口客户端连接，如果连接成功则发登陆协议：11+用户名             11是协议头服务端收到登陆协议,广播在线用户列表： 11+"--+用户名+","+x+","+y+"--"+......
用Socket 打造跨语言跨操作系统的网络MORPG游戏(三)
风行天下
08-03 1723
 服务端代码有Delphi,C#,java，你可以查看源代码 几点说明：  用 Socket实现跨语言通信不存在问题，消息发送的都是字符串，如果发送的消息中是发送的整形，数值型数据的话就要考虑不同语言的问题的。 java开源服务端有很多比较好的框架，不建议自己写，还是用成熟的吧，Mina xSocket Red5等 客户端也可以用其他语言实现，这样就可以实现跨操作系统。
Erlang 的安装配置，编译和运行
风行天下
09-12 1670
 最近为了调试一个mmorpg的原型，他的服务端是用erlang编写的，所以就了解了下这个语言。他的优点就不说了，直接给个下载地址http://www.erlang.org/download.htmlhttp://www.erlang.org/download/otp_win32_R12B-4.exe下了个windows版的安装文件，然后安装，配置了系统环境变量在PATH后加上
Flex 3 和PHP连接mysql数据库
风行天下
06-15 1464
1.配置PHP环境 2.启动Flex Builder 3，New Flex Project，为Project命名为PHP，再在服务器类型中选择php , 设置的web root（本机web目录）和root url（http地址） , 然后选择Data->Create Application from database  在对话框中选择Project为PHP   点 "New",配置连接名称
如何启动编译的spark
最新发布
10-23
<think>我们之前讨论了如何解决`sudo-rs: 'nano': command not found`的问题，现在用户的新问题是：**启动编译后的Spark的方法**。用户引用了四段内容，主要涉及Spark源码编译的步骤和注意事项，但没有直接提到启动方法。因此，我们需要结合Spark的通用启动方法和用户编译后的环境来回答。 ### 步骤分析 1. **定位编译输出目录**：根据引用[2]，编译后的主要输出在`assembly/target/scala-<版本号>/`目录下，其中包含完整的Spark发行包（如`spark-<version>-bin-<自定义名称>.tgz`）。 2. **解压并使用编译后的Spark**：用户需要将生成的压缩包解压到目标目录，并设置环境变量。 3. **启动Spark集群**：Spark支持多种部署模式（Local、Standalone、YARN、Mesos等），我们重点讲解Standalone模式的启动步骤。 ### 具体步骤 #### 第一步：获取编译后的Spark发行包 编译完成后，根据引用[2]的描述，在`spark源码目录/assembly/target/scala-<版本号>/`下会生成一个类似于`spark-<version>-bin-<自定义名称>.tgz`的压缩包。例如，用户执行了如下编译命令（引用[3]）： ```bash ./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package cd dev ./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7.3,parquet-provided" ``` 则生成的压缩包可能在`dev`目录下，名称类似`spark-3.0.0-bin-hadoop2-without-hive.tgz`。 #### 第二步：部署Spark 1. 将压缩包解压到目标安装目录，例如`/opt`： ```bash sudo tar -zxvf spark-3.0.0-bin-hadoop2-without-hive.tgz -C /opt ``` 2. 创建软链接（可选，便于版本管理）： ```bash cd /opt sudo ln -s spark-3.0.0-bin-hadoop2-without-hive spark ``` 3. 设置环境变量（修改`~/.bashrc`或`/etc/profile`）： ```bash echo "export SPARK_HOME=/opt/spark" >> ~/.bashrc echo "export PATH=\$PATH:\$SPARK_HOME/bin" >> ~/.bashrc source ~/.bashrc ``` #### 第三步：启动Standalone集群 1. **启动Master节点**： ```bash $SPARK_HOME/sbin/start-master.sh ``` 启动后，默认Web UI在`http://<master-ip>:8080`，日志在`$SPARK_HOME/logs`。 2. **启动Worker节点**（在每台工作节点上执行）： ```bash $SPARK_HOME/sbin/start-worker.sh spark://<master-ip>:7077 ``` 其中`spark://<master-ip>:7077`是Master的URL，可在Master的Web UI或日志中查看。 #### 第四步：验证集群状态 - 访问Master Web UI（`http://<master-ip>:8080`）查看Worker节点注册情况。 - 运行示例程序： ```bash $SPARK_HOME/bin/spark-submit --master spark://<master-ip>:7077 \ --class org.apache.spark.examples.SparkPi \ $SPARK_HOME/examples/jars/spark-examples_*.jar 100 ``` ### 其他部署模式 - **YARN模式**：无需启动Spark独立集群，直接提交到YARN： ```bash $SPARK_HOME/bin/spark-submit --master yarn ... ``` 前提是已正确配置HADOOP_CONF_DIR和YARN_CONF_DIR[^3]。 - **Local模式**：用于测试，无需集群： ```bash $SPARK_HOME/bin/spark-shell --master local[2] ``` ### 注意事项 1. **配置文件**：根据需要修改`$SPARK_HOME/conf/spark-env.sh`（需复制模板）： ```bash cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh nano $SPARK_HOME/conf/spark-env.sh # 确保已安装nano或使用vi ``` 关键配置示例： ```bash # 设置Master主机名 export SPARK_MASTER_HOST=your_master_ip # Java环境 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 2. **Worker资源限制**：可在`spark-env.sh`中配置每个Worker的核心数和内存。 ### 相关问题 1. 如何配置Spark集群的高可用性？ 2. 如何在Spark中集成Hive？ 3. 编译Spark时如何指定Hadoop版本？ </think>### 启动编译后 Spark 的完整方法 根据您提供的引用内容，启动编译后 Spark 的方法如下： #### 第一步：设置环境变量 在启动前必须配置关键环境变量： ```bash # 设置 Java 环境（引用[3]） export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_171 # 设置 Scala 环境（引用[3]） export SCALA_HOME=/home/hadoop/apps/scala-2.12.7 export PATH=$PATH:$SCALA_HOME/bin # 设置 Spark 主目录（引用[2][3]） export SPARK_HOME=/home/hadoop/apps/spark-2.3.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin ``` > 注意：路径需替换为您实际的安装位置，所有节点需保持相同配置[^3] #### 第二步：启动 Spark 集群 根据不同部署模式选择启动方式： 1. **Standalone 模式**（独立集群）： ```bash # 启动 Master 节点 $SPARK_HOME/sbin/start-master.sh # 启动 Worker 节点（在所有工作节点执行） $SPARK_HOME/sbin/start-worker.sh spark://<master-ip>:7077 ``` 2. **YARN 模式**（集成 Hadoop YARN）： ```bash # 提交应用到 YARN（引用[4]） $SPARK_HOME/bin/spark-submit \ --master yarn \ --deploy-mode cluster \ # 或 client --class org.apache.spark.examples.SparkPi \ $SPARK_HOME/examples/jars/spark-examples_*.jar \ 100 ``` > 注意：yarn-cluster 模式要求所有集群节点安装 R 环境（如使用 SparkR）[^4] 3. **Local 模式**（单机测试）： ```bash $SPARK_HOME/bin/spark-shell --master local[4] ``` #### 第三步：验证启动状态 1. 检查 Master Web UI（默认端口 8080）： ``` http://<master-ip>:8080 ``` 2. 查看进程状态： ```bash jps | grep -E 'Master|Worker' # 应显示 Master 和 Worker 进程 ``` 3. 运行测试程序： ```bash $SPARK_HOME/bin/run-example SparkPi 10 ``` #### 核心配置文件说明（引用[2]） | 路径 | 作用 | |------------------------|--------------------------| | `bin/`, `sbin/` | 启动脚本目录 | | `conf/spark-env.sh` | 环境变量配置（需创建） | | `examples/` | 示例代码 | | `jars/` | 所有依赖库（核心位置） | ### 关键注意事项 1. **环境一致性**：所有节点需相同 Java/Scala 版本（引用[3]） 2. **配置文件同步**：修改 `conf/spark-env.sh` 后需同步到所有节点 3. **端口冲突**：确保 7077（RPC）、8080（Web UI）、4040（应用 UI）端口开放 4. **分布式部署**：若使用 HDFS，需配置 `HADOOP_CONF_DIR`（引用[3]） ```bash export HADOOP_CONF_DIR=/etc/hadoop/conf ``` ### 启动流程示意图 ```mermaid graph TD A[编译完成] --> B(设置环境变量) B --> C{选择部署模式} C -->|Standalone| D[启动Master] C -->|YARN| E[提交到YARN集群] C -->|Local| F[本地模式运行] D --> G[启动Worker节点] G --> H[验证集群状态] E --> H F --> H ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值