hadoop Job job = new Job() api弃用deprecated 新的api

最新推荐文章于 2021-04-29 03:56:53 发布
最新推荐文章于 2021-04-29 03:56:53 发布
阅读量1.2k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： Job hadoop api hadoop job api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AntKengElephant/article/details/102549180
本文探讨了Hadoop中Job任务创建API的废弃问题，详细介绍了旧API的@Deprecated注解原因，并提供了新API的使用示例。文章还附上了官方API文档链接，帮助读者更好地理解和应用新API。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop创建Job任务出现api已经被 @deprecated

api已经被 @deprecated

/**
 * @deprecated Use {@link #getInstance()}
 */
@Deprecated
public Job() throws IOException {
  this(new JobConf(new Configuration()));
}

新的api

Job job = Job.getInstance();
job.setJobName("MaxTemperature");

官方api文档地址

http://hadoop.apache.org/docs/r2.7.4/api/index.html

 

Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
qq_32020645的博客
12-29 1140
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
Hadoop源码浅析——Job提交相关
AndyElvis的专栏
07-01 1万+
Configuration类是用来访问hadoop的配置参数的。 Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml，相关代码如下： static{ //print deprecation warning if hadoop-site.xml is found in classpath C
Warning: $HADOOP_HOME is deprecated解决方法
weixin_30528371的博客
03-30 150
启动Hadoop时报了一个警告信息，我的系统是CentOS，安装的Hadoop版本是hadoop1.2.1，具体警告信息如下： [root@m1 hadoop-1.2.1]# bin/start-all.sh Warning: $HADOOP_HOME is deprecated. 网上的说法是因为Hadoop本身对HADOOP_HOME做了判断，具体在bin/hadoo...
Hadoop的新API(解决deprecated)
jameshaper的专栏
11-16 1459
hadoop-0.20.2使用了一套新的API,网上的示例一般是使用MapReduceBase的，例如官方的tutorial http://hadoop.apache.org/docs/r0.20.2/mapred_tutorial.html 新的API下应该使用这样的类 static class Mapper extends Mapper { public void map(Lo
hadoop mr程序出现The constructor Job(Configuration, String) is deprecated
明明历险记
10-11 1586
解决方法如下： 1.添加注解 @SuppressWarnings("deprecation") Job job = new Job(conf, "star");   2.使用 Job.getInstance(Configuration conf,String jobName )静态方法，创建job对象： Job job = Job.getInstance(conf, "star");
hadoop job -list报错解决方法
大数据训练营
08-22 1万+
错误信息 [root@single Desktop]# hadoop job -list DEPRECATED: Use of this script to execute mapred command is deprecated. Instead use the mapred command for it. SLF4J: Class path contains multiple
Hadoop运行job默认配置参数以及合理配置参数计算
FlatTiger的博客
04-05 687
默认配置参数 一个NodeManager的默认运行内存：8G 一个job的默认运行内存：8G 一个maptask的默认运行内存：1G 一个reducetask的默认运行内存：1G 如何计算合理的配置参数         如果输入端有100G的数据，那么maptask的运行内存设置为多少？一个job的运行内存设置为多少？         一个个切片
MapReduce原理（1）：Job从创建到提交到集群获取所需资源进行运行的过程 源码解析 + 图解
Yiie 的博客
09-05 2042
1、Job的创建 Job类中重载了3个getInstance(),这个方法是唯一暴露给外部的方法 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.116.117:8020/"); Job job = Job.getInstance(conf,"wordCount"); Job中g...
hadoop运行计算pi或running job卡住或 map 0% reduce 0%
空空说技术的博客
04-15 4848
1.出现MapReduce任务运行到running job卡住 一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35...
Apache Hadoop Mapreduce作业执行前篇之任务执行前准备（上）
猫君之上的博客
03-15 643
一.创建Job作业过程 1.获取Job作业对象 方式一： Configuration conf = new Configuration(); Job job=Job.getInstance(conf); public static Job getInstance(Configuration conf) throws IOException { JobConf jobConf =...
jenkins新建job和job配置
向死而生
12-30 1万+
前言： jenkins里的最常用的功能就是job的构建，即任务的构建，本篇文章主要介绍job的配置。   一、持续集成的优点 1、解放劳动力； 2、避免人为失误; 3、提高效率； 4、质量持续反馈； 5、质量保障；   二、jenkins持续集成的体系 Linux + svn+ Jenkins + Maven + Jdk   三、配置Job 在左边栏列表选择"New 任...
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 249
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
linux新建job文件,实现一个mapreduce的job
weixin_31794609的博客
04-29 479
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1 环境1.1 部署hadoop单机版即可，namenode,datanode,resourcemanager, nodemanager,secondnamenode都部署在同一台机器上。创建hadoop用户生成ssh公钥私...
The constructor Job(Configuration,String) is deprecated
chiclewu的专栏
10-27 8083
在hadoop2.2自带
Hadoop就业面试题
weixin_34055910的博客
06-16 4450
----------------------------------------------------------------------------- [申明：资料来源于互联网] 本文链接：http://blog.youkuaiyun.com/sdksdk0/article/details/51695341 编辑：朱培 ID：sdksdk0 -------...
【Quartz】深入Job、JobDetail、JobDataMap、Trigger
热门推荐
Evankaka的专栏
04-29 2万+
Quartz API核心接口有： Scheduler – 与scheduler交互的主要API； Job – 你通过scheduler执行任务，你的任务类需要实现的接口； JobDetail – 定义Job的实例； Trigger – 触发Job的执行； JobBuilder – 定义和创建JobDetail实例的接口; TriggerBuilder – 定义和创建Trigger实例的接口；
Hadoop之——MapReduce job的几种运行模式
爱笑的博客
12-26 1万+
需要的jar包 \share\hadoop\common下的jar和其子目录下lib中的jar \share\hadoop\hdfs下的jar和其子目录下lib中的jar \share\hadoop\mapreduce下的jar和其子目录下lib中的jar \share\hadoop\yarn下的jar和其子目录下lib中的jar WordCountMapper.java pac
025-03-16 21:26:18.516 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null 2025-03-16 21:26:18.517 [main] INFO PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0 2025-03-16 21:26:18.517 [main] INFO JobContainer - DataX jobContainer starts job. 2025-03-16 21:26:18.519 [main] INFO JobContainer - Set jobId = 0 Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The dr iver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.2025-03-16 21:26:18.885 [job-0] INFO OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://master:3306/szt?y earIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.2025-03-16 21:26:18.913 [job-0] INFO OriginalConfPretreatmentUtil - table:[szt_data] has columns:[car_no,card_no,clo se_date,company_name,conn_mark,deal_date,deal_money,deal_type,deal_value,equ_no,station].三月 16, 2025 9:26:19 下午 org.apache.hadoop.util.NativeCodeLoader <clinit> 警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2025-03-16 21:26:19.553 [job-0] INFO JobContainer - jobContainer starts to do prepare ... 2025-03-16 21:26:19.553 [job-0] INFO JobContainer - DataX Reader.Job [mysqlreader] do prepare work . 2025-03-16 21:26:19.554 [job-0] INFO JobContainer - DataX Writer.Job [hdfswriter] do prepare work . 2025-03-16 21:26:19.623 [job-0] INFO HdfsWriter$Job - 由于您配置了writeMode append, 写入前不做清理工作, [/daas/ods/o ds_szt_data] 目录下写入相应文件名前缀 [part] 的文件2025-03-16 21:26:19.623 [job-0] INFO JobContainer - jobContainer starts to do split ... 2025-03-16 21:26:19.623 [job-0] INFO JobContainer - Job set Channel-Number to 2 channels. 2025-03-16 21:26:19.646 [job-0] INFO SingleTableSplitUtil - split pk [sql=SELECT MIN(equ_no),MAX(equ_no) FROM szt_da ta WHERE (date_format(deal_date,'%Y%m%d') ='${dt}' AND equ_no IS NOT
最新发布
03-17
### DataX中NumberFormatExeption问题分析 在DataX运行过程中遇到`java.lang.NumberFormatException`异常通常是因为数据转换失败引起的。此错误可能发生在读取MySQL数据并写入HDFS的过程中，具体原因可能是字段类型不匹配或者配置文件中的参数设置有误。 #### 可能的原因及解决方案： 1. **字段类型不一致** 如果从`mysqlreader`读取的数据中有字符串类型的数值（如`'123'`），而目标表期望的是整数或其他数值型，则可能会抛出`NumberFormatException`。因此，在插件配置阶段需确认字段映射关系是否正确[^1]。 2. **JDBC URL 配置不当** `jdbcUrl`应指向有效的MySQL实例地址，并且需要指定正确的驱动类名`com.mysql.cj.jdbc.Driver`来加载对应的MySQL JDBC驱动程序。如果使用的驱动版本与实际数据库环境不符也可能引发各种兼容性问题。 3. **Hadoop Native Library 缺失或未启用** 当使用`hdfswriter`时，某些操作依赖于本地库的支持。如果没有正确安装或启用了Hadoop的native libraries，这可能导致性能下降甚至功能失效。可以通过设置环境变量`HADOOP_OPTS="-Djava.library.path=/path/to/hadoop/lib/native"`来解决这个问题[^2]。 4. **Write Mode 设置为 Append 的影响** 对于`writeMode=append`的情况，意味着每次执行都会向已有文件追加新记录而不是覆盖它们。这种模式下需要注意重复键处理逻辑以及最终一致性保障机制的设计。 以下是基于上述讨论的一个典型配置片段示例： ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "your_username", "password": "your_password", "column": ["id", "value"], "connection": [{ "jdbcUrl": ["jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC&useSSL=false"], "table": ["test_table"] }] } }, "writer": { "name": "hdfswriter", "parameter": { "defaultFS": "hdfs://namenode:9000", "fileType": "text", "path": "/user/data/output", "fileName": "output_file", "fieldDelimiter": ",", "writeMode": "append" } } } ] } } ``` 对于更复杂的场景比如自定义编译DataX源码以适应特定需求的情形可以参考官方文档说明完成相应调整[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值