教你看scala版本和spark版本是否兼容，以及需要下载的Maven包与JDK版本之间是否兼容，如何在pom.xml中写相关组件的配置等，用作IDEA中spark项目开发，并用Maven管理相关依赖

原创 已于 2025-01-23 22:06:25 修改 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #scala #spark

于 2025-01-21 18:14:04 首次发布

大数据专业的同学有没有在初次学习Spark大数据分析的时候，老是搞不清楚Scala版本与Spark的哪个版本兼容，该分别使用哪一个版本呢？还有，假如你是用的是Maven管理依赖的话，是不是不知道该下载哪个Maven安装包呢？这些问题这篇文章帮你解答！！！

1、首先我们来看如何看Scala版本与Spark版本是否兼容

我们打开下面这个网址：

Maven Repository: Search/Browse/Explore

打开如下图所示，这个网址用于查所需要的依赖如何在IDEA中的pom.xml中写，我们也可用来查看Scala版本与Spark版本是否兼容，我们在如图的搜索框中输入spark并回车搜索

得到如下结果，我们点开Spark-core这个，就可以看到如何在pom.xml中写Spark-core的配置了，如果需要你也可以看到Spark SQL、Spark Streaming等都有，可以自行查看

 进去后下滑会看到相关的Spark版本和Scala版本信息，我们以Spark3.4.1版本举例，它兼容的Scala版本是Scala2.12.x和Scala2.13.x版本，这里就解决了如何知道Spark版本与Scala版本是否兼容的问题

这里简单介绍一下如何查看自己安装的Scala版本，首先win+R然后输入cmd并回车

然后输入scala -version并回车，可以看到我的是2.12.18版本（属于上面表中的2.12），至于如何安装Scala并配置好环境变量可以去看我往期文章http://【用IDEA开发基于Spark3.4.1和Scala2.12.18的Spark项目的sbt方式配置，超详细哦 - 优快云 App】https://blog.youkuaiyun.com/weizhigongzi/article/details/144381627?sharetype=blog&shareId=144381627&sharerefer=APP&sharesource=weizhigongzi&sharefrom=link

我们点击表中2.12的字样就可以跳转到如何写配置的界面，我们可以看到Spark3.4.1版本且用的是Scala2.12.x版本的Spark-core在pom.xml中应该如下写配置，其它组件的也是同样的查看方法

2、下面我们该介绍如何选择依赖管理工具Maven的版本了

我们打开Maven安装包的下载网址​​​​​​https://maven.apache.org/download.cgi 

 

从上面的两张图中我们可以看到这时的最新版本为3.9.9版本，而它的要求里面也明确写了要JDK8及以上才行，而第二张图中的3.8.x版本要求则是JDK1.7及以上，这里说一下，当下载Maven安装包时，主要需要考虑的是Maven与你的JDK版本是否兼容，但还需要注意Maven版本与你的IDEA版本的兼容问题。Maven本身是一个项目管理工具，用于构建和管理Java项目，它的运行依赖于JDK。因此，确保Maven支持的JDK版本与你安装的JDK版本匹配是至关重要的，你不需要考虑Maven版本是否与你的Spark版本或Scala版本是否兼容。还有就是为啥上面的两个版本中一个是JDK8，一个是JDK1.7，如下，也就是说JDK8也可以叫做JDK1.8，而JDK1.7也可以叫做JDK7。

  • 在Java 8（JDK8）及以前的版本中，版本号使用“1.x”的形式，如Java 1.4、Java 1.5、Java 1.6、Java 1.7。这种表示方法中，主版本号是1，后面跟着小数点和一个次版本号。
  • 从Java 9开始，Oracle改变了版本号的表示方式，去掉了小数点，直接使用整数表示主版本号，如Java 9、Java 10、Java 11等。

 如何查看自己的JDK版本呢，win+R输入cmd并回车，然后再输入java -version查看JDK版本，可以看到我的是JDK1.8（也就是JDK8），是一个比较旧的版本了

常用的IDEA版本与Maven版本的兼容对照如下：

  • 1.IDEA 2024 兼容maven 3.9.6及之前的所用版本
  • 2.IDEA 2023 兼容maven 3.9.5及之前的所用版本
  • 3.IDEA 2022 兼容maven 3.8.5及之前的所用版本
  • 4.IDEA 2021 兼容maven 3.8.1及之前的所用版本
  • 5.IDEA 2020 兼容Maven 3.6.3及之前所有版本
  • 6.IDEA 2018 兼容Maven3.6.1及之前所有版本

我个人比较推荐使用3.5.4或者3.6.3版本，这两个版本都是我常用的两个版本且对大多数的IDEA版本都有很好的兼容性

至此，教程完毕！！！ 

使用机器学习进行NSFW内容检测
DkVhdl的博客
09-19 2032
NSFW（Not Safe for Work）内容检测是一项关键的任务，旨在识别和过滤出不适宜在工作场所或公共环境中展示的内容，例如色情、暴力或其他违反社区准则的图像或视频。通过收集和准备数据、选择适当的模型、进行数据预处理、训练和评估模型，最终可以得到一个准确性较高的NSFW内容检测器。通过收集和准备数据、选择适当的模型、进行数据预处理、训练和评估模型，最终可以得到一个准确性较高的NSFW内容检测器。使用测试数据集来计算模型的准确率、精确率、召回率等指标，以评估模型在NSFW内容检测任务上的表现。
AI作画工具 stable-diffusion-webui 本地部署 多种模型 可生成NSFW
weixin_41259045的博客
03-14 1万+
AI作画最近非常火热啊，本文是在使用N卡的电脑上，本地部署stable-diffusion-webui前端+替换默认的模型，实现生成高质量的二次元图像，并且可以不受限制的生成图片。
NSFW、工作不安全 (Not Safe for Work)
qq_15821487的博客
08-02 1万+
nsfw什么颜色 Casimior PT/Shutterstock 卡西米PT /快门 NSFW is an odd, versatile internet acronym that’s found its way into internet articles and social media posts. But what does NSFW mean, where’d it come from, and how do you use it? Do...
Node.js文件监控库nsfw实战解析
最新发布
weixin_35749786的博客
09-12 1234
在现代前端开发中，实时响应文件变化是提升开发效率的关键。nsfw库通过监听文件系统事件来实现这一点，其背后依赖的是操作系统提供的原生文件监控接口。本章深入剖析了nsfw库的底层文件监控机制，从操作系统级别到Node.js层面的实现方式，再到nsfw的高性能优势进行了全面分析。同时，详细介绍了nsfw支持的事件类型、事件触发频率控制策略以及多事件绑定与解耦设计。
模型是如何训练出来的
热门推荐
实践求真知
04-15 1万+
一 模型里的内容和意义一个标准的模型结构分为输入、中间节点、输出三大部分，而如何让这三部分连通起来学习规则并可进行计算，则是框架TensorFlow所做的事情。TensorFlow将中间节点及节点间的运算关系（OPS）定义在自己内部的一个“图”上，全通过一个“会话（session）”进行图中OPS的具体运算。可以这样理解：“图”是静态的，无论做任何加、减、乘、除，它们只是将关系搭建在一起，不会有任...
nsfw模型的搭建（复现实操）
Kirito_UGO的博客
03-15 5334
nsfw tf2
图片风控NSFW(not suit for work)-1 tensorflow2模型重构
weixin_42529756的博客
10-09 7655
tensorflow2 ResNet50 nsfw 图片风控 not suit for work
tensowflow 训练 远程提交_tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优...
weixin_32753181的博客
01-12 845
日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)4.11 综合案例：模型导出与部署学习目标目标掌握TensorFlow模型的导出(saved_model格式)掌握Tensorflow模型的部署掌握TensorFlow模型的客户端调用掌握TensorFlow模型的超参数调优使用应用无4.11.1 TensorFl...
关于如何在k8s中搭建一个nsfw黄图鉴定模型
小王同学的博客
11-25 1136
上述Dockerfile为一个base的dockerfile，由于我们的项目是流水线自动化部署，每次代码更新都会制作一个最新的镜像，但是上述这种下载依赖的重复逻辑不想每次制作镜像的时候都重复执行，所以先制作一个只下载环境的base镜像，将制作好的镜像传到镜像仓库，假设我的镜像是 wf.com/base/huggingface:2.0。下面手把手教你如何将huggingface中的黄图检测模型部署到自己的服务器上去。上述代码就是启动一个80端口，接收一个url参数，将url对应的图片识别是否涉黄。
精选资源
model_trans_模型轉換_h52onnx_源码
10-04
标题提到的"model_trans_模型轉換_h52onnx_源码"涉及到的是将基于Keras的H5模型转换为ONNX（Open Neural Network Exchange）格式的过程。这种转换对于模型的跨平台部署和优化至关重要。下面将详细阐述这一过程及其...
nsfw-model-conda环境
03-29
部署该模型（https://github.com/GantMan/nsfw_model）的conda虚拟环境配置文件。 tf24；python 3.8；
nsfw_model：NSFW检测器的Keras模型
02-04
NSFW检测机器学习模型 接受60多种数据训练，以识别： drawings -安全用于工程图（包括动画） hentai -无尽的和色情的图画 neutral -适用于工作中性图像 porn -色情图片，性行为 sexy -色情图片，而不是色情图片 该模型为动力- 当前状态： 基于Inception V3，具有以下混淆矩阵的93％精度。 查看_art文件夹以了解此模型的先前版本。 要求： keras（测试版本> 2.0.0）tensorflow> = 2.1.0 用法 用于库的编程使用。 from nsfw_detector import predict model = pred
tensorflow-open_nsfw：Yahoo的Open NSFW模型的Tensorflow实现
02-06
Yahoo的开放NSFW模型的Tensorflow实现 该存储库包含以tensorflow重写的的实现。 原始重量已使用提取 。 您可以在data/open_nsfw-weights.npy找到它们。 先决条件 所有代码均应与Python 3.6和Tensorflow 1.x （经1.12测试）兼容。 该模型的实现可以在model.py找到。 用法 > python classify_nsfw.py -m data/open_nsfw-weights.npy test.jpg Results for 'test.jpg' SFW score: 0.9355766177177429 NSF
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测.zip
04-04
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测 项目背景： 随着互联网的快速发展，网络上的信息量呈现出爆炸式的增长。然而，互联网上的内容良莠不齐，其中不乏一些不良信息，如色情、暴力等。这些信息对青少年的健康成长和社会风气产生了不良影响。为了净化网络环境，保护青少年免受不良信息的侵害，我国政府加大了对网络内容的监管力度。在此背景下，本项目应运而生，旨在实现对网络图片和视频的自动识别与过滤，助力构建清朗的网络空间。 项目简介： 本项目基于 NSFW（Not Safe For Work）Model，利用深度学习技术对色情图片进行识别与鉴黄。NSFW Model 是一种基于卷积神经网络（CNN）的图像识别模型，通过学习大量的色情图片和非色情图片，能够准确地判断一张图片是否含有色情内容。本项目在 NSFW Model 的基础上，进一步优化了模型结构，提高了识别的准确率和效率。 项目功能： 色情图片识别：用户上传图片后，系统会自动调用 NSFW Model 对图片进行识别，判断图片是否含有色情内容。如果含有色情内容，系统会给出相应的提示，并阻止图片的传播。 视频检测：针对网络视频，本项目采用帧提取技术，将视频分解为一帧帧图片，然后使用 NSFW Model 对这些图片进行识别。如果检测到含有色情内容的图片，系统会给出相应的提示，并阻止视频的传播。 实时监控：本项目可应用于网络直播、短视频平台等场景，实时监控画面内容，一旦检测到含有色情内容的画面，立即进行屏蔽处理，确保网络环境的纯洁。
python-nsfw:使用Caffe和Yahoo的open_nsfw模型分析图像的Python包
05-18
python-nsfw 使用和模型分析图像的Python软件包。 先决条件 python-nsfw需要Python 3并在与Caffe兼容的系统上运行。 咖啡 如果您使用的是macOS和 ，那么安装的最简单方法是使用Homebrew： brew install caffe 或者，您可以使用 Linux映像（例如 ）并安装必要的依赖项： apt update && apt install caffe-cpu python3 python3-pip wget 安装 python-nsfw可以使用安装： pip3 install nsfw 用法 import PIL . Image as Image from nsfw import classify image = Image . open ( "/path/to/image.jpg" ) sfw , nsfw = classif
【亲测免费】 推荐项目：NSFW模型 —— 智能图像分类的高效工具
gitblog_01194的博客
08-24 2682
在数字化时代，内容管理变得日益重要，特别是在过滤不适合工作环境的内容方面。今天，我们来深入探讨一个强大的开源解决方案——**NSFW Model**，一个专门用于识别和分类不适宜工作的图像（Not Suitable for Work）的强大工具。 ## 项目介绍 **NSFW Model** 是一款高效且易于部署的图像分类器，能够准确地将图像归类为“性感”、“动漫画风”、“一般”、“色情”或“...
探索NSFW模型：智能内容筛选的新篇章
gitblog_00046的博客
04-25 2415
探索NSFW模型：智能内容筛选的新篇章 nsfw_model Keras model of NSFW detector 项目地址: https://gitcode.com/gh_mirrors/ns/nsfw_model ...
python NSFW Model 图片识别鉴黄 后面更新视频检测
freedom_fd的博客
06-17 4613
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测
图片风控NSFW(not suit for work)-2 基于tf2模型微调
weixin_42529756的博客
12-13 1356
使用tensorflow2 对yahoo开源NSFW模型微调
本地部署nsfw
05-13
### 如何在本地部署 NSFW 模型或服务 要在本地环境中成功部署 NSFW（不适宜工作场合内容）检测模型或服务，以下是详细的说明： #### 准备环境 为了确保能够顺利运行模型和服务，需要安装必要的依赖项。这些工具和库包括但不限于以下几类： - **Python 环境**: 推荐使用 Python 3.7 或更高版本。 - **Transformers 库**: 提供加载预训练模型的功能[^1]。 - **PyTorch/TensorFlow**: 支持深度学习框架的计算需求。 - **Pillow (PIL)**: 处理图像文件并将其转换为适合输入模型的形式。 具体命令如下所示： ```bash pip install transformers torch Pillow ``` #### 加载模型与测试 通过 Hugging Face 的 `transformers` 工具包可以直接访问已有的 NSFW 图片分类模型。例如，可以采用名为 `"Falconsai/nsfw_image_detection"` 的公开模型来完成此任务[^1]。 下面是一个简单的代码片段展示如何加载该模型并对单张图片执行预测操作： ```python from PIL import Image from transformers import pipeline def classify_nsfw(image_path): # 打开指定路径下的图片文件 img = Image.open(image_path) # 初始化 image-classification 流水线对象，并指明使用的特定模型名称 classifier = pipeline("image-classification", model="Falconsai/nsfw_image_detection") # 对传入的图片调用流水线方法得到其类别标签及其置信度分数列表形式的结果 result = classifier(img) return result if __name__ == "__main__": test_img_path = "<your_test_image>" output_results = classify_nsfw(test_img_path) print(output_results) ``` 注意替换 `<your_test_image>` 成实际存在的图片绝对或者相对地址字符串值之前再尝试运行以上脚本。 #### 构建 RESTful API 服务 如果希望进一步扩展功能至 Web 应用程序层面，则可考虑利用 Flask/Django 这样的轻量级 web 开发框架构建起支持 HTTP 请求交互的服务端接口。这里给出基于 FastAPI 实现的一个简单例子作为示范用途: ```python import uvicorn from fastapi import FastAPI, File, UploadFile from PIL import Image from io import BytesIO from typing import List from pydantic import BaseModel app = FastAPI() class Prediction(BaseModel): label: str score: float @app.post("/predict/", response_model=List[Prediction]) async def predict(file: UploadFile = File(...)): try: contents = await file.read() pil_image = Image.open(BytesIO(contents)) clf_pipeline = pipeline('image-classification', model='Falconsai/nsfw_image_detection') predictions = clf_pipeline(pil_image) formatted_preds = [{"label": pred['label'], "score": round(pred['score'], 4)} for pred in predictions] return formatted_preds except Exception as e: raise ValueError(f"Error processing uploaded file {e}") if __name__ == '__main__': uvicorn.run(app, host='0.0.0.0', port=8000) ``` 启动服务器之后即可向 `/predict/` 路径发送 POST 请求附带上传待分析的目标图片获取返回结果了。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

長琹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值