Compile Mahout-0.6

最新推荐文章于 2024-02-24 06:15:00 发布
原创 最新推荐文章于 2024-02-24 06:15:00 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#eclipse #assembly #maven #build #math #apache

本文介绍了在Ubuntu12.04系统上使用Maven编译Mahout源码的过程，包括所需环境配置、源码下载及编译步骤，并解决了编译过程中遇到的JDK版本问题。

先说下本机系统: Ubuntu 12.04

1. 编译前，需要安装 maven

 sudo apt-get install maven
 sudo apt-get install maven2

2. 下载最新的Mahout源码, 链接如下：

http://newverhost.com/pub/mahout/0.6/mahout-distribution-0.6-src.tar.gz

3. 编译

 sudo mvn -DskipTest

3.1 编译结果

...
[INFO] ------------------------------------------------------------------------
[INFO] Building Mahout Release Package
[INFO]    task-segment: [install]
[INFO] ------------------------------------------------------------------------
[INFO] [site:attach-descriptor {execution: default-attach-descriptor}]
[INFO] [assembly:single {execution: bin-assembly}]
[INFO] Assemblies have been skipped per configuration of the skipAssembly parameter.
[INFO] [assembly:single {execution: src-assembly}]
[INFO] Assemblies have been skipped per configuration of the skipAssembly parameter.
[INFO] [install:install {execution: default-install}]
[INFO] Installing /home/lucktroy/download/mahout-distribution-0.6/distribution/pom.xml to /root/.m2/repository/org/apache/mahout/mahout-distribution/0.6/mahout-distribution-0.6.pom
[INFO] 
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] ------------------------------------------------------------------------
[INFO] Apache Mahout ......................................... SUCCESS [1.797s]
[INFO] Mahout Build Tools .................................... SUCCESS [1.168s]
[INFO] Mahout Math ........................................... SUCCESS [7.442s]
[INFO] Mahout Core ........................................... SUCCESS [53:58.847s]
[INFO] Mahout Integration .................................... SUCCESS [1:16.147s]
[INFO] Mahout Examples ....................................... SUCCESS [1:13.287s]
[INFO] Mahout Release Package ................................ SUCCESS [0.007s]
[INFO] ------------------------------------------------------------------------
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESSFUL
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 56 minutes 39 seconds
[INFO] Finished at: Sat May 12 12:54:59 EDT 2012
[INFO] Final Memory: 102M/645M
[INFO] ------------------------------------------------------------------------


4. 编译 eclipse

sudo mvn eclipse:eclipse

4.1 编译结果 

...

[INFO] ------------------------------------------------------------------------
[INFO] Building Mahout Release Package
[INFO]    task-segment: [eclipse:eclipse]
[INFO] ------------------------------------------------------------------------
[INFO] Preparing eclipse:eclipse
[INFO] No goals needed for project - skipping
[INFO] [eclipse:eclipse {execution: default-cli}]
[INFO] Not running eclipse plugin goal for pom project
[INFO] Using Eclipse Workspace: null
[INFO] Adding default classpath container: org.eclipse.jdt.launching.JRE_CONTAINER
[INFO] 
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] ------------------------------------------------------------------------
[INFO] Apache Mahout ......................................... SUCCESS [14.802s]
[INFO] Mahout Build Tools .................................... SUCCESS [0.023s]
[INFO] Mahout Math ........................................... SUCCESS [0.210s]
[INFO] Mahout Core ........................................... SUCCESS [0.206s]
[INFO] Mahout Integration .................................... SUCCESS [1.922s]
[INFO] Mahout Examples ....................................... SUCCESS [0.117s]
[INFO] Mahout Release Package ................................ SUCCESS [0.006s]
[INFO] ------------------------------------------------------------------------
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESSFUL
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 20 seconds
[INFO] Finished at: Sat May 12 15:19:51 EDT 2012
[INFO] Final Memory: 49M/341M
[INFO] ------------------------------------------------------------------------

ps.: 第一次编译的时候，发生了错误，后来发现是jdk不对，因为本机中有openjdk-7 和 openjdk-6 两个版本.

大数据产品用户体验：个性化推荐设计
AI 原生应用开发的博客
09-27 901
在数据爆炸时代，用户每天面临超过300GB的信息冲击（IDC数据），个性化推荐系统已成为解决信息过载的核心技术。本文聚焦大数据产品中推荐模块的用户体验设计，涵盖从底层数据处理到前端交互呈现的完整链路，剖析技术实现与用户体验的融合点，帮助技术团队理解推荐系统如何影响用户决策，助力产品团队设计兼具效率与温度的推荐功能。
Spark进阶高频面试题
悦分享
06-13 339
以shuffle为例，伴随着大量的Shuffle写操作，JVM的新生代不断GC，Eden Space写满了就往Survivor Space写，同时超过一定大小的数据会直接写到老生代，当新生代写满了之后，也会把老的数据搞到老生代，如果老生代空间不足了，就触发FULL GC，还是空间不够，那就OOM错误了，此时线程被Blocked，导致整个Executor处理数据的进程被卡住。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务，作业提交资源申请等，在恢复前是不能接受请求的。
编译HBase2.2依赖Hadoop3.2通过
ccren的专栏
06-28 1911
1、使用cygwin或者mingw（git bash自带）代替windows命令行 cygwin切换盘符 cd d: mingw切换盘符 cd /d 或者 cd d: 2、下载Maven3.6.1并配置环境变量 设置aliyun镜像仓库到settings.xml 3、下载hbase2.2.0源码 hbase-2.2.0-src.tar.gz 解压后，通过git ...
mvn(Maven）命令行参数含义
Jaylon Wang的专栏
12-09 7735
Maven命令行选项 以下各节详细介绍了Maven的命令行选项。 1。定义属性 要定义属性，请在命令行上使用以下选项： -D，--define <arg> 定义系统属性 这是最常用于自定义Maven插件行为的选项。使用-D命令行参数的一些示例： <span style="color:#666666"><span style...
Maven 命令参数 整理
D的博客
04-17 1万+
命令参数   备注 mvn -v --version 显示版本信息; mvn -V --show-version 显示版本信息后继续执行Maven其他目标; mvn -h --help 显示帮助信息; mvn -e --errors 控制Maven的日志级别,产生执行错误相关消息; mvn -X --debug 控制Mav
Maven
十二间记，知不足而奋斗，望远山而前行。千里不辞行路远，时光早晚到天涯。
11-13 841
Maven管理项目
（转） 基于MapReduce的ItemBase推荐算法的共现矩阵实现（一）
白大虾
12-17 1765
转自：http://zengzhaozheng.blog.51cto.com/8219051/1557054一、概述这2个月为公司数据挖掘系统做一些根据用户标签情况对用户的相似度进行评估，其中涉及一些推荐算法知识，在这段时间研究了一遍《推荐算法实践》和《Mahout in action》，在这里主要是根据这两本书的一些思想和自己的一些理解对分布式基于ItemBase的推荐算法进行实现。其中分两部分
【智能推荐优化】：提升汽车资讯APP个性化体验的关键技术
!... # 摘要 智能推荐系统作为个性化信息服务的核心技术，其发展与应用极大地提升了用户体验与企业效益。本文从理论基础、技术实现、个性化体验提升实践、伦理与隐私问题四个维度对智能推荐系统进行了全面分析。...
【时间序列预测陷阱】：BP神经网络常见问题及应对策略
![【时间序列预测陷阱】：BP神经网络常见问题及应对策略]... # 摘要 时间序列预测是分析与预测数据随时间变化趋势的重要方法，在经济、工业等多个领域有着广泛的应用。本文详细探讨了BP神经网络在时间序列
Maven学习：常用mvn命令
专注于 Java 后端架构、微服务、分布式、前端及 AI 领域的技术分享，是开发者获取硬核知识、交流实战经验的专业博客。
11-03 346
maven常用命令介绍 mvn 3.0.4 创建maven项目命令 mvn archetype:generate -DgroupId=damocles-autocredit -DartifactId=damocles-autocredit -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMod...
Maven超详细讲解——高级篇
u014681502的博客
12-12 1849
分模块开发与设计 此部分内容建议有SSM开发经验再看，也可以熟悉后回顾。 企业开发过程中通常将工程模块中的包拆分成单独模块交给员工合作开发，模块之间根据接口通信。主模块中不放实际功能，所有的功能做成独立的模块。 ssm_pojo拆分 ● 新建模块 ●拷贝原始项目中对应的相关内容到ssm_pojo模块中(建议在新模块中先建好对应的包在拷贝内部的内容) ◆实体类（User） ◆配置文件（无） 因为pojo中只需要jdk的核心API，没有外部的资源jar,只要com...
Maven的生命周期详解
怪咖@的博客
05-19 8699
本篇文章重点针对这几个问题进行讲解：maven的生命周期都有哪些阶段？maven的生命周期和插件到低有什么关联？插件和插件的目标有什么关联？假如我们要用某个插件，怎么上官网查找？怎么手动调用插件？
maven 操作命令-- mvn 命令释义
loki的博客
07-02 1342
maven常用命令
wan_zaiyunduan的博客
07-28 656
Maven，是一种创新的软件项目管理工具，提供了一个项目对象模型（POM）文件的来管理项目的构建，目前我遇到的java项目（开发项目、自动化框架等）基本都是以maven管理项目。在使用过程中，经常要使用一些mvn命令，这里记录下常用的 mvn clean清理项目生产的临时文件,一般是模块下的target目录 mvn compile编译源代码，一般编译模块下的src/main/java目录 ...
mvn常用命令
热门推荐
知识的力量
06-02 5万+
Maven总结 概述Mvn是开发人员比较常用的一个项目管理工具，主要是对项目的创建，编译，打包操作，命令简单使用。接下来简单总结一下常用的命令。 软件下载及配置软件下载mvn需要jdk的支持,jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html  官方下载地址:http...
MVN的命令
sky
07-03 2718
从上到下依次: 清理 校验 编译 测试 打包 部署 生产站点 发布到私服
maven的升级版maven-mvnd的使用详解
撸啊撸的博客
02-24 4779
在Java代码编译和构建领域里面，最常见的是ant、maven、gradle。这三个编译工具都有各自强大的功能。目前ant基本已经被时代抛弃，主流的工具还是maven和gradle，但是gradle的服务领域大部分还是在Android开发，在服务端开发方面，maven任然是主流。但是maven也还是有很多的不足，比如基于xml格式的配置，相对应gradle来说，灵活度不够。另外编译时速度慢，内存占用高等情况。为了解决编译速度的问题，有一个maven-mvnd的工具诞生了。
Maven九：Maven的常用命令（底层：mvn  archetype:generate；mvn compile；mvn test；mvn package；mvn clean；mvn install）
小枯林的博客
04-18 2876
以前Maven的操作都是IDE上的，本篇博客主要介绍这背后的Maven的原生命令。目的是了解Maven背后的命令流程和原理。 即如Eclipse、IDEA这些IDE都对maven这些命令进行了整合，像生成、测试、编译这些环节都是IDE自动帮助我们来完成的；通过本篇博客，可以加深了解下maven底层的命令和执行的过程。 目录 1.Maven常用命令简介 2.Maven命令实操 （1）mvn archetype:generate：创建Maven工程结构 So，如何使用Eclipse打开这个工...
我需要在本机利用vscode+py3.11开发一个项目，这个项目可利用transformers加载qwen3-embedding-0.6B和qwen3-rerank-0.6B的huggingface模型进入嵌入和重排，并提供兼容openai的端点。系统为windows11，cpu为i9-14900，内存为128G。模型已下载好，本机不可访问hugginface。你看需要哪哪依赖库？
最新发布
07-16
<think>我们正在Windows 11环境下使用VSCode和Python 3.11，目标是加载Qwen3-Embedding-0.6B和Qwen3-Rerank-0.6B模型，并创建兼容OpenAI的API端点。 根据引用[1]和引用[2]的信息，我们可以使用vLLM来部署模型，但注意引用[3]中提到了一个错误，提示需要安装vllm，并且引用[2]中展示了如何设置环境变量来使用本地模型。 然而，需要注意的是，Qwen3-Embedding和Qwen3-Rerank是嵌入模型和重排序模型，它们通常用于文本嵌入和检索任务，而不是通用的文本生成。因此，我们需要一个能够提供嵌入和重排序功能的API端点，并且要兼容OpenAI的API格式。 但是，vLLM主要针对生成式模型（如Qwen3-6B等）进行优化，可能不直接支持嵌入模型。因此，我们需要寻找其他方法。 我们可以考虑使用FastAPI来构建API，并使用Hugging Face的transformers库加载模型。同时，为了兼容OpenAI的API格式，我们可以参考OpenAI的API文档设计路由和请求/响应格式。 步骤： 1. 创建Python虚拟环境（推荐使用Python 3.11） 2. 安装必要的库：transformers, torch, fastapi, uvicorn, pydantic, sentencepiece等 3. 下载模型：从ModelScope或Hugging Face Hub下载Qwen3-Embedding-0.6B和Qwen3-Rerank-0.6B模型 4. 编写API代码，提供两个端点（一个用于嵌入，一个用于重排序）并确保其兼容OpenAI的嵌入端点格式（例如/v1/embeddings）和重排序格式（OpenAI没有标准重排序端点，但我们可以自定义，或参考其他兼容API如Cohere的格式） 5. 运行API服务 注意：由于重排序模型在OpenAI API中没有直接对应，我们可以将其设计为自定义端点，但也可以考虑将重排序功能通过嵌入端点以某种方式提供（比如通过输入两个文本，返回它们的相关性分数）。但为了清晰，建议分开。 具体实现思路： 嵌入端点： - 路径：/v1/embeddings - 方法：POST - 请求体：包含"input"（文本或文本列表）和"model"（指定模型名称，如"Qwen3-Embedding-0.6B"） - 响应：按照OpenAI的嵌入响应格式，返回一个包含嵌入向量列表的对象。 重排序端点（自定义）： - 路径：/v1/rerank - 方法：POST - 请求体：包含"query"（查询文本），"documents"（文档列表），以及可选的"model"（指定模型名称，如"Qwen3-Rerank-0.6B"） - 响应：返回一个列表，每个文档有一个相关性分数，以及排序后的文档列表（可选）。 由于OpenAI的嵌入API只要求返回嵌入向量，不包含重排序功能，因此我们需要自定义重排序端点。 代码结构示例： 1. 初始化FastAPI应用 2. 加载嵌入模型和重排序模型（注意：这两个模型是独立的） 3. 定义请求和响应的Pydantic模型 4. 编写端点函数 但是，请注意，引用[2]中提到了使用vLLM来部署，但这里我们部署的是嵌入模型，不是生成模型，所以不使用vLLM（vLLM主要针对生成模型）。因此，我们直接使用transformers加载模型。 另外，引用[2]中设置的环境变量主要是为了OpenAI兼容的API，我们可以参考这个思路，但我们的API是自己实现的。 开始编写代码： 首先，确保已经安装所需的包。在VSCode的终端中，创建并激活虚拟环境，然后安装： pip install transformers torch fastapi uvicorn pydantic sentencepiece 然后，创建一个文件（比如main.py），编写以下代码：</think>在Windows 11环境下使用VSCode和Python 3.11部署Qwen3嵌入和重排序模型的步骤如下： ### 1. 环境准备 ```powershell # 创建虚拟环境 python -m venv qwen_env .\qwen_env\Scripts\activate # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers sentencepiece accelerate fastapi uvicorn openai pydantic ``` ### 2. API服务实现（`api_server.py`） ```python from fastapi import FastAPI from pydantic import BaseModel from transformers import AutoModel, AutoTokenizer import torch app = FastAPI() # 加载模型 embed_model = AutoModel.from_pretrained( "Qwen/Qwen3-Embedding-0.6B", trust_remote_code=True ).cuda() rerank_model = AutoModel.from_pretrained( "Qwen/Qwen3-Rerank-0.6B", trust_remote_code=True ).cuda() tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-Embedding-0.6B") class EmbedRequest(BaseModel): input: str | list[str] model: str = "Qwen3-Embedding-0.6B" class RerankRequest(BaseModel): query: str documents: list[str] model: str = "Qwen3-Rerank-0.6B" @app.post("/v1/embeddings") async def embeddings(request: EmbedRequest): inputs = [request.input] if isinstance(request.input, str) else request.input encoded = tokenizer(inputs, padding=True, return_tensors="pt").to("cuda") with torch.no_grad(): outputs = embed_model(**encoded) embeddings = outputs.last_hidden_state.mean(dim=1).cpu().numpy().tolist() return {"data": [{"embedding": emb} for emb in embeddings]} @app.post("/v1/rerank") async def rerank(request: RerankRequest): scores = [] for doc in request.documents: encoded = tokenizer([request.query, doc], padding=True, return_tensors="pt").to("cuda") with torch.no_grad(): outputs = rerank_model(**encoded) scores.append(outputs.logits[0].item()) return {"results": sorted(zip(request.documents, scores), key=lambda x: x[1], reverse=True)} if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000) ``` ### 3. 启动服务 ```powershell python api_server.py ``` 服务启动后访问： - 嵌入端点：`http://localhost:8000/v1/embeddings` - 重排序端点：`http://localhost:8000/v1/rerank` ### 4. 客户端调用示例 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="none") # 获取嵌入向量 embed_response = client.embeddings.create( input="自然语言处理", model="Qwen3-Embedding-0.6B" ) print(f"嵌入维度: {len(embed_response.data[0].embedding)}") # 文档重排序 rerank_response = client.chat.completions.create( model="Qwen3-Rerank-0.6B", messages=[{ "role": "user", "content": json.dumps({ "query": "人工智能发展", "documents": [ "机器学习基础知识", "深度神经网络原理", "大模型技术演进" ] }) }] ) print("重排序结果:", json.loads(rerank_response.choices[0].message.content)) ``` ### 关键配置说明 1. **模型加载**： - 使用`trust_remote_code=True`启用Qwen特殊架构 - `.cuda()`启用GPU加速（需安装CUDA 12.1） - 首次运行会自动下载模型（约3.5GB） 2. **性能优化**： ```python # 添加在模型加载后 embed_model = torch.compile(embed_model) rerank_model = torch.compile(rerank_model) torch.set_float32_matmul_precision('high') # 加速矩阵运算 ``` 3. **资源管理**： - 默认使用GPU显存（需至少8GB） - 低显存设备可添加`.float()`转为FP32精度 - 或使用`.half()`转为FP16精度节省显存 ### 验证方法 使用curl测试端点： ```bash curl -X POST http://localhost:8000/v1/embeddings \ -H "Content-Type: application/json" \ -d '{"input": "测试文本", "model": "Qwen3-Embedding-0.6B"}' ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值