SHARK综述

工作流是自动运作的业务过程,工作流引擎对其进行控制。Shark1.0是符合WFMC规范、可扩展功能的工作流引擎,利用xpdl定义流程,支持多种调用方式和持久层。其组件可扩展替换,可作程序库或webservice访问。此外,还介绍了Shark1.0在Windows平台的安装与启动方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

根据 WfMC 的定义,工作流(Work Flow)就是自动运作的业务过程部分或整体,表现为参与者对文件、信息或任务按照规程采取行动,并令其在参与者之间传递。
  简单地说,工作流就是一系列相互衔接、自动进行的业务活动或任务。我们可以将整个业务过程看作是一条河,其中流过的就是工作流。

工作流引擎对工作流进行控制。

Shark1.0完全是根据WFMC规范实施的,可扩展功能的工作流引擎,它利用xpdl来定义流程,同时还包括服务器端的用于活动节点执行的WFMC工具代理API。这个工具代理API可以服务于JavaScript, JDBC access, EJB access, pure Java classes, Corba calls, EMail, Webservice调用。流程的存储和活动的实例化都是通过一个可定义的持久层API来完成。Shark1.0使用自带的一个轻量级Enhydra DODS O/R mapping作为自己的标准持久层,但是它同时也支持重量级的J2EE EJB持久层。Shark1.0中的每个组件例如持久层,事物管理器,脚本引擎,流程库,都是可以按照标准实施运用的,而且还可以被具体项目的模块扩展和替换。这样,shark就可以被用作servlet和swing程序的一个简单程序库,或者运行在J2EE容器当中(支持会话bean的API,可能使用实体bean作为持久层),或者可以当作webservice被访问。

 

2Shark安装与启动

Shark1.0的安装配置十分方便快捷。在windows平台下,直接点击安装图标,按照提示便可完成安装。在安装过程中需要指定jdk,shark1.0需要jdk的版本为1.4.1或者以上。

启动shark时,启动顺序是名称服务器(tns.bat),服务器(run.bat),管理控制台(runA.bat)。你也可以用快捷方式shark(runAll.bat)一次性启动三种服务。

### 关于Shark Framework或Apache Shark数据处理 #### 定义与背景 Shark 是一种基于 Spark 的分布式 SQL 查询引擎,最初由 UC Berkeley AMP 实验室开发。它旨在提供比传统 Hive 更高的性能和更丰富的功能集[^1]。然而,在后续的发展过程中,Shark 被弃用并逐渐被 Spark SQL 取代。 #### 性能比较 相比于传统的 Hive-on-MapReduce 架构,Shark 提供了显著的性能改进。这是因为 Shark 基于内存计算模型,能够减少磁盘 I/O 并优化查询执行计划[^3]。此外,由于其底层依赖于 Spark 的 RDD 数据结构,Shark 还支持复杂的多阶段操作而无需多次写入磁盘。 #### 功能特性 尽管 Shark 曾经是一个重要的项目,但它的一些核心理念已经被集成到 Spark SQL 中。Spark SQL 不仅继承了 Shark 的优点,还进一步增强了兼容性和易用性。例如,Spark SQL 支持标准 ANSI SQL 语法以及 DataFrame API,使得开发者可以更加灵活地进行数据分析。 #### 应用场景 对于需要实时分析能力的企业来说,采用类似于 Spark SQL 或曾经存在的 Shark 框架会优于经典的 Hadoop MapReduce 方法。这些现代工具不仅提供了更高的吞吐量,还能满足亚秒级延迟的需求。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("example").getOrCreate() # Example query using Spark SQL data = [("James", "", "Smith", "36636", "M", 3000), ("Michael", "Rose", "", "40288", "M", 4000), ("Robert", "", "Williams", "42114", "M", 4000)] columns = ["firstname", "middlename", "lastname", "id", "gender", "salary"] df = spark.createDataFrame(data=data, schema=columns) df.select("firstname", "salary").show() ``` 上述代码展示了如何利用 PySpark 创建一个简单的 DataFrame,并通过 Spark SQL 执行基本的选择操作。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值