DataFu在Apache进入孵化状态

如何成为 Apache 孵化器项目 或许是我的检索能力有限,我没有在中文网络上找到一份把自家项目捐献至Apache孵化器的**“攻略”或者“手册”。这可能是由于大家已经轻车熟路,又或者是人们对此还十分陌生。本文适合那些正在准备加入Apache孵化器的**,和那些正在犹豫是否加入的人来阅读。希望对那些像我一样不熟悉流程的国人有所帮助。 我们的项目是 Apache Pegasus,这是由小米公司捐献至ASF的分布式KV存储项目。想要了解更多项目内容,欢迎访问官网 https://pegasus.apache.org/。我们正在招募Pegasus的 阅读详情

该项目创建于2012年1月,早期的定位是作为Pig项目的用户定义函数集(UDF )。相对于更加通用的UDF集如Piggybank,Datafu更侧重于数据挖掘和统计 类的函数,例如分位数计算和取样方法。2013年10月,一个名为DataFu Hourglass的新库加入到此项目。Hourglass是用于MapReduce的类库,为作业提供了处理增量数据的能力。其处理方式一般是在HDFS中保存上一个作业的状态,并用它来处理新的输入。现在这两个项目都成为孵化器的一部分。

DataFu在Apache进入孵化状态,是其前进过程中的一大步。任何项目都要经过严格的审查,完成投票程序才能进入孵化器。2012年初创建的DataFu,2014年初才成功进入孵化器。通常,一个Apache项目完成孵化需要一定的时间,一旦项目的相关服务(wiki、邮件列表、教程等等)建设完成,DataFu将结束孵化,成为ASF的顶级项目或者Hadoop的子项目。

随着最近进入Apache孵化器,DataFu有了很多近期的发展计划。其中最关键的功能之一是为Hive和Crunch提供同一UDF,以使其得到更大范围的应用。其中包括将项目的构建系统移植到Gradle,这些工作DataFu社区目前正在做。构建系统从Ant改为Gradle的好处是能够巩固社区,使其以更简单的 流程添加新功能。

DataFu社区还比较小,但保持着稳定的增长。Russell Jurney最近的贡献使Open NLP项目成了DataFu 1.3.0的一部分。邮件列表中讨论的焦点是增加更多UDF,就像项目贡献者Matthew Hayes和Sam Shah所描述的,让DataFu成为“大数据的WD-40”。

datafu:Apache DataFu的镜像 Apache DataFu 是用于在Hadoop中处理大规模数据的库的集合。 该项目的灵感来自对稳定的,经过良好测试的数据库进行数据挖掘和统计的需求。 它包含三个库: Apache DataFu Spark : 实用程序和用户定义函数的集合 阿帕奇DataFu猪:用户定义函数的集合 Apache DataFu Hourglass :MapReduce中用于的增量处理框架 有关更多信息,请访问网站: 如果您想入门,请查看每个库的相应指南: 博客文章 简报 DataFu简介 使用DataFu在LinkedIn上构建数据产品 沙漏:用于Hadoop上增量处理的库(IEEE BigData 2013) 文件 沙漏:用于Hadoop上增量处理的库(IEEE BigData 2013) 获得帮助 错误和功能请求可以在此处提交。 如需其他帮助,请访问网站。 开发者 源代码发布 如果您从源 立即下载

相关推荐

datafu, 用于大规模数据处理的Hadoop库,现在是一个 Apache Incubator 项目.zip

datafu, 用于大规模数据处理的Hadoop库,现在是一个 Apache Incubator 项目 Apache DataFu跟踪 @apachedatafu 。是一个用于在Hadoop中处理大规模数据的库集合。 这个项目的灵感来自于对数据挖掘和统计的稳定。测试良好的库。它由两个库组成:Apache Pig的价格为: 用户定义

探索大数据的利器:Apache DataFu

探索大数据的利器:Apache DataFu 在大数据处理领域,有一款强大的工具——Apache DataFu,它为Hadoop生态系统带来了新的活力。今天,让我们一起深入了解这款由Apache软件基金会推出的开源宝藏,探索其如何简化大规模数据处理,以及为何它成为了数据工程师和分析师的必备之选。 项目介绍 Apache DataFu是一个专为处理大规模数据而设计的库集合,旨在解决数据挖掘和统计领域...

gitblog_00776的博客 464

sentinel——SLC数据下载、DEM数据下载拼接、精密轨道数据下载方法

Sentinel——SLC数据下载、DEM数据下载、精密轨道数据下载方法 SLC数据下载 网址:https://search.asf.alaska.edu DEM数据下载 1 手动下载 http://srtm.csi.cgiar.org/srtmdata/ 3.在SARscape中使用下载好的DEM 将下载好的DEM放在软件默认下载DEM路径下(默认路径是C:\Users<用户名&g...

u011322358的博客 2万+

Apache DataFu: LinkedIn开源的Pig UDF库

Apache DataFu分两部分,本文介绍的是其Pig UDF的部分。代码在Github上开源。 DataFu里面是一些Pig的UDF,主要包括这些方面的函数: bags、geo、hash、linkanalysis、random、sampling、sessions、sets、stats、urls 每方面都对应一个package。 我把所有的函数源码都浏览了一遍。其实本身对这些UDF的使用,官方的文档上都有介绍,而且源码的注释里也些的很清晰。所以使用本身是很简单的。 从实现角度看,继承自Pig Ev

张包峰的博客 3641

USB2.0信号完整性测试之眼图

名称线缆颜色引脚描述红色绿色白色GND黑色。

qq_53766840的博客 3288

招标信息爬取工具

一个能帮你节省大量时间的实用小工具,我自己用了挺久,分享出来给有需要的朋友

qq_56877290的博客 838

如何在两年内做出一个Apache顶级开源数据库——乔嘉林

乔嘉林是国产高性能开源时序数据库——Apache IoTDB 项目的 PMC,也是其初创团队的主要开发者之一。本篇对时序数据库专家乔嘉林的深度访谈分享。

qin_DB的博客 934

常用的串口通信工具MobaXterm、Bus Hound、SScom等

本文介绍了四种PC端串口通信工具的功能和使用方法:MobaXterm支持SSH、FTP、串口等多种协议;Bus Hound用于监控CAN和串口数据;SScom专为串口和网口通信设计;ScriptCommunicator可进行串口通信并绘制波形图。每种工具都有详细的操作步骤图示,包括参数设置、数据监控等关键功能,并提供了官方和个人下载地址。这些工具各有特点,适用于不同的串口通信和数据分析场景。

sanqima的专栏 2534

Apache DataFu 深度指南

Apache DataFu 深度指南 1. 项目目录结构及介绍 Apache DataFu 是一个在大规模数据处理中使用的库,专为 Apache Hadoop 设计。其主要包含两个部分: datafu-pig 目录 这个目录包含了 DataFu 为 Apache Pig 提供的用户自定义函数(UDF)和宏。目录结构如下: src/main/java: 存放 Java 代码,包括 UDF 和相关类...

gitblog_01031的博客 906

wintab开发例程

 タブレットとスタイラスペンを使うと、パソコンに手書きの線を入力できます。筆圧を入力することができるので毛筆のような表現も可能です。ペンの傾きを入力できる機種もあり、アイデア次第で面白いことに使えそうです。  私は昔(94年頃)、WACOMのタブレットを用いたプログラム開発をしたことがあります。当初A3版ほどの大きさのUDというタブレットを使っていて、その後 ArtPad という小さいサイズの

grass168的专栏 3242

MACS2软件进行Peak calling

MACS2可以检出ChIP-Seq,ATAC-seq 以及 MeRIP-seq (RNA甲基化测序) 等富集的序列。peaks calling 有不同的方法,MACS2是最常用的call peaks工具。 MACS全称Model-based Analysis of ChIP-Seq,最初的设计是用来鉴定转录因子的结合位点,但是它也可以用于其他类型的富集方式测序。usage: macs2 [-h] [--version] {callpeak,bdgpeakcall,bdgbroadca

qq_27390023的博客 3791

Apache DataFu 教程

Apache DataFu 教程 1. 项目介绍 Apache DataFu 是一个专为在大规模数据处理平台Hadoop上进行数据挖掘和统计分析而设计的库。它由LinkedIn发起,并成为Apache孵化器中的一个项目。DataFu提供了两个主要的库: Apache DataFu Pig: 包含一系列用于Apache Pig的数据分析用户定义函数(UDF)和宏。 Apache DataFu Ho...

gitblog_00873的博客 892

一份针对零基础学习AI Agent详细学习计划

以下是针对零基础学习者制定的AI Agent详细学习计划,结合最新行业动态和实用资源推荐,帮助你从入门到进阶系统掌握核心技能

sexy19910923的博客 1906

技术新进展

DataFu在Apache进入孵化状态

hi_23 497

科技与伦理的平衡点:人类计算的伦理

科技与伦理的平衡点:人类计算的伦理 关键词 科技与伦理 人类计算 隐私问题 道德决策自动化 公平性与偏见 法律与社会责任 摘要 本

AI天才研究院 1164

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Apache Flex孵化完毕成为Apache顶级项目,但前景并不明朗

本文来源于我在InfoQ中文站翻译的文章,原文地址是:http://www.infoq.com/cn/news/2013/01/Apache-Flex-TLP 近日,Apache软件基金会宣布Apache Flex孵化完毕并成为Apache顶级项目,这距离Adobe将Flex SDK的源代码、工具与依赖移交给Apache有一年左右的时间。Apache Flex的副总裁Alex Harui认为达到...

mmdev 166

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

探索 LinkedIn 的数据处理工具 DataFu:功能强大、易于集成

探索 LinkedIn 的数据处理工具 DataFu:功能强大、易于集成 去发现同类优质开源项目:https://gitcode.com/ 是一个开源的 Java 库,由 LinkedIn 创建并维护。它提供了一系列实用的数据处理算法,可以帮助开发人员在大数据场景中更高效地进行数据清洗、分析和挖掘。 DataFu 能做什么? DataFu 提供了大量可重用的实用程序函数,用于解决大数据问题。这些函...

gitblog_00039的博客 504

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

datafu-1.0.0.jar下载

https://www.versioneye.com/java/com.linkedin.datafu:datafu/1.0.0 ...

conglu3007的博客 153

Apache DataFu 开源项目教程

Apache DataFu 开源项目教程 1、项目介绍 Apache DataFu 是一个为 Hadoop 生态系统设计的库集合,旨在提供稳定、经过良好测试的数据挖掘和统计功能。该项目包含三个主要库: Apache DataFu Spark: 为 Apache Spark 提供了一系列的工具和用户定义函数(UDFs)。 Apache DataFu Pig: 为 Apache Pig 提供了一系列...

gitblog_00441的博客 498

Apache DataFu 常见问题解决方案

Apache DataFu 常见问题解决方案 项目基础介绍和主要编程语言 Apache DataFu 是一个用于处理大规模数据的库集合,主要应用于 Hadoop 生态系统中。该项目由三个主要库组成: Apache DataFu Spark: 提供了一系列的工具和用户定义函数(UDFs),用于 Apache Spark。 Apache DataFu Pig: 包含了一系列的用户定义函数(UDFs)...

gitblog_01084的博客 679

探索大数据的魔法工具箱:Apache DataFu

探索大数据的魔法工具箱:Apache DataFu 在大数据处理的浩瀚宇宙中,有一颗璀璨的明星——Apache DataFu。这是一个专门为大规模数据处理设计的开源库集合,源于对稳定且经过严格测试的数据挖掘与统计工具的需求。今天,让我们一起深入了解这个强大的工具箱,探索它如何简化你的大数据之旅。 项目介绍 Apache DataFu由三个核心库构成,旨在支持Hadoop生态系统中的高效数据分析和处...

gitblog_00051的博客 567

探索高效数据处理:Apache DataFusion 的 Python 绑定库

探索高效数据处理:Apache DataFusion 的 Python 绑定库 Apache DataFusion 是一个强大的内存查询引擎,它为构建高性能的数据系统提供了坚实的基础。现在,这一优秀技术已与 Python 集成,形成了名为 DataFusion in Python 的库,让开发者在 Python 环境中也能享受到其卓越的性能和灵活性。 项目介绍 DataFusion in Pyth...

gitblog_00040的博客 798

官宣|Apache Paimon 孵化成功!毕业!

2024年4月16日 - Apache软件基金会(ASF),这个由320多个活跃的开源项目和计划的志愿开发者、管理员和孵化器组成的组织,今天宣布Apache Paimon已从孵化器毕业,成为一个顶级项目(TLP)。恭喜Paimon!01流式湖仓解决方案Paimon 流式湖仓解决方案 Streaming Lakehouse提到数据湖,我们会想到三大开源数据湖Iceberg、Hudi、Delta,但是...

大数据流动 2020

[大数据 ]Apache大数据项目目录

在使用BigData大约8年以上之后,我遇到了大量的项目。 Esp Apache的运动对于BigData域非常强大。每个人都会提出一个针对特定解决方案的项目。但是,由于有这么多项目出现,我找不到一个可以查看它们的地方。所以,这就是这个页面背后的灵感。一站式,查看所有Apache BigData项目。当然,这个页面需要不断更新。如果您发现任何项目缺失,请发表评论我同意一个大...

全网:架构师研究会 958
上一篇: 算法实践-最优搜索树-动态规划
下一篇: 算法实践-最大数量活动选择-贪心算法
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值