Sharding item parameters ‘1‘ format error, should be int=xx,int=xx

最新推荐文章于 2024-06-27 02:15:10 发布
原创 最新推荐文章于 2024-06-27 02:15:10 发布 · 484 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #spring

文章讲述了作者在配置定时任务时遇到ShardingItemParameters1formaterror的问题，本地测试正常，但在生产环境中报错。问题在于分片序列号和参数配置不正确，解决方法是将配置改为1=<xx>。

Sharding item parameters ‘1’ format error, should be int=xx,int=xx
配置定时任务，本地测试没问题，能正常接收参数，但是生产报错，网上找了很多例子，但是项目不同，错误的解决方式也不同
这个错误是批量平台配置的：分片序列号和参数配置错误

要配置成 1=1；这样才能正常的接收参数

正确的配置

TP、PP、DP、集群GPU卡数、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】【grad_accum_steps=gbz/(mbz*DP)】
u013250861的博客
03-24 1209
【代码】TP、PP、DP、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】
云主机superset接入redis缓存
微电子学与固体电子学-俞驰
09-20 2579
环境 环境 版本 Ubuntu 18.04 apache-superset (pip install apache-superset) 0.37.1 Mysql 5.7 redis-cli 4.0.9 调研 [1]提到了二级缓存 [4]提到如果配置cache成功会有相关信息 准备工作 apt install redis (virtualenv环境)pip installredis 编辑 ...
elasticJob分片跑批
热门推荐
peerless_hero的博客
08-04 1万+
业务迅速发展带来了跑批数据量的急剧增加。单机处理跑批数据已不能满足需要，另考虑到企业处理数据的扩展能力，多机跑批势在必行。多机跑批是指将跑批任务分发到多台服务器上执行，多机跑批的前提是”数据分片”。elasticJob通过JobShardingStrategy支持分片跑批。跑批配置需要做如下修改： shardingTotalCount:作业分片总数。jobShardingStrategyClass
elastic-job2 项目接入（spring，maven）
ESOO
06-21 7518
最近系统在使用esjob进行定时任务管理，现将接入过程分享给大家：引入依赖&lt;dependency&gt; &lt;groupId&gt;com.dangdang&lt;/groupId&gt; &lt;artifactId&gt;elastic-job-lite-core&lt;/artifactId&gt; &lt;version&gt;2.1.2&lt...
elastic-job 实现的分片案例5
健康平安的活着的专栏
07-19 1752
作业分片是指例如：Elastic-Job快速入门中文件备份的例子，现有2台服务器，每台服务器分别跑一个应用实例。为了快速的执行作业，那么可以将作业分成4片，每个应用实例个执行2片。可以看到，通过对任务合理的分片化，从而达到任务并行处理的效果，最大限度的提高执行作业的吞吐量。
elastic-job集成到springboot教程，和它的一个异常处理办法:Sharding item parameters '1' format error, should be int=xx,i...
361视频的博客
01-22 792
elastic-job集成到springboot教程，和它的一个异常处理办法:Sharding item parameters '1' format error, should be int=xx,int=xx 先说这个Sharding item parameters '1' format error, should be int=xx,int=x...
Elastic-Job开发指南
曾子墨
08-20 1623
大多数情况下，定时任务我们一般使用quartz开源框架就能满足应用场景。但如果考虑到健壮性等其它一些因素，就需要自己下点工夫，比如：要避免单点故障，至少得部署2个节点吧，但是部署多个节点，又有其它问题，有些数据在某一个时刻只能处理一次，比如 i = i+1 这些无法保证幂等的操作，run多次跟run一次，完全是不同的效果。 对于上面的问题，我曾经自行设计过一个基于zk分布式锁的解决方案： 1、每类定时job，可以分配一个独立的标识（比如：xxx_job) 2、这类job的实例，部署在多个节点上时，每个节.
ShardingJdbc2.X学习总结系列（十一）：源码解析—事务
JadeBai的技术成长之路
08-08 477
事务：恢复和并发控制的基本单位。具有ACID（原子性、一致性、隔离性、持久性）四大属性。 数据库事务：可以是一条sql或者一组sql的执行，当事务包含多条sql时，有一个执行出现异常，就会全部回滚。 但是ShardingJdbc是主要应用在分库分表上，当这个时候在加上事务的话，就会使事务变得很复杂。 ShardingJdbc默认是没有事务的，如果配置了事务也是弱事务，我们看一下官方文档对于弱...
FlinkTable ClickhouseConnector范例
GavinKai
10-21 855
package connector.clickhouse.table.catalog; import connector.clickhouse.table.ClickHouseDynamicTableFactory; import connector.clickhouse.table.config.ClickHouseConfig; import connector.clickhouse.table.util.ClickHouseTypeUtil; import connector.clickhou.
redis(五) 集群模式---cluster模式（cluster）
仗剑执天涯的专栏
06-27 1310
3主3从的6个服务，没对主从不需要replicaof 指定，需要masterauth 密码相互授权。ClusterServersRedissonConfig 配置。ClusterLettuceRedisConfig 配置。6个节点，构成3主3从集群模式。可以在任意节点上执行。
ElasticJob（Springboot 分布式定时任务 ElasticJob）
java_2017_csdn的博客
01-11 794
而且间隔较短的作业并未见得关注单次作业的实时性，可以通过下次作业执行的重分片使所有的分片正确执行，因此不建议短间隔作业开启失效转移。如果作业的其中一个分片服务器在 13:10 的时候宕机，那么剩余的 20 分钟应该处理的业务未得到执行，并且需要在 14:00 时才能再次开始执行下一次作业。如果 12：00 开始执行的作业在 13:10 才执行完毕，那么本该由 13:00 触发的作业则错过了触发时间，需要等待至 14:00 的下次作业触发。另外需要注意的是，作业本身的幂等性，是保证失效转移正确性的前提。
cron表达式详解 & Elastic-Job名次解释
gb4215287的博客
10-14 808
#1.cron:cron表达式,用于配置作业触发时间 #2.shardingTotalCount:作业分片总数 #3.shardingItemParameters:分片序列号和参数用等号分隔，多个键值对用逗号分隔分片序列号从0开始，不可大于或等于作业分片总数如：0=a,1=b,2=c #4.maxTimeDiffSeconds:最大允许的本机与注册中心的时间误差秒数如果时间误差超过配置秒数则作业启动时将抛异常配置为-1表示不校验时间误差 #5.failover:是否开启失效转移仅monitorExecuti
elasticJob实战，各作业类型使用及所产生的问题分析
ITtraveler的专栏
05-26 6667
文章主要关注于SimpleJob、DataflowJob、ScriptJobs三种任务的具体实现及相关问题。elasticJobConsole打包问题及下载。 采用Elastic-Job-Lite方案进行。SpringBoot集成ElasticJob，并使用bean的配置，替代原有xml配置形式。主要使用Elastic-Job-Lite方案进行试验。 Elastic-Job-Lite方案与Elastic-Job-Cloud方案基本的作业是一...
分布式任务定时框架elasticjob详解
shine的博客
03-03 5067
序言 如果你需要管理job，可以考虑使用elasticjob。 如果你想动态添加job ，也可以考虑使用elasticjob。 如果对系统可靠性，稳定性和服务器弹性等要求比较高，还可以考虑elasticjob。 Elastic-Job是当当网基于Zookepper，Quartz开发并且开源的Java分布式定时任务，解决Quartz不支持分布式的弊端。它由两个相 互独立的子项目Elasti...
Spring Boot 整合定时任务，可以动态编辑的定时任务
江南一点雨的专栏
03-09 4852
定时任务，松哥之前写过多篇文章和大家介绍，上次还自己 DIY 了一个可以动态编辑的定时任务，还录了一个配套视频： 相关的资料链接戳这里： Spring 定时任务玩出花！ 手把手教你定制可编辑的定时任务！ 开发可配置的定时任务～第二弹 Vue非典型用法，一个简单的管理页面 不过我们当时自己写的这个不支持分布式环境，想要支持倒也不是啥难事，弄一个 zookeeper 或者 redis 作为公共的信息中心，里边记录了定时任务的各种运行情况，有了这个就能支持分布式环境了。 今天咱们不自己写了，我们来看一个现成
elasticjob-配置手册
kongkong的专栏
01-27 1986
通过配置可以快速清晰的理解 ElasticJob-Lite 所提供的功能。 本章节是 ElasticJob-Lite 的配置参考手册，需要时可当做字典查阅。 ElasticJob-Lite 提供了 3 种配置方式，用于不同的使用场景。 注册中心配置项 可配置属性 属性名 类型 缺省值 描述 serverLists String 连接 ZooKeeper 服务器的列表 namespace String ZooKeeper 的命名空..
cron表达式详解 & Elastic-Job名次解释
robinson_911的专栏
02-16 7684
#1.cron:cron表达式,用于配置作业触发时间 #2.shardingTotalCount:作业分片总数 #3.shardingItemParameters:分片序列号和参数用等号分隔，多个键值对用逗号分隔分片序列号从0开始，不可大于或等于作业分片总数如：0=a,1=b,2=c #4.maxTimeDiffSeconds:最大允许的本机与注册中心的时间误差秒数如果时间误差超过配置秒数则作业启...
Elastic-job实现分布式定时任务
蹊源的奇思妙想的博客
09-02 1万+
最近接了一个新的需求，需要使用到定时任务，由于我们的系统是分布式的，所以`Spring`自带的定时任务无法满足我们当前系统对定时任务的需要。我们需要一个能够便捷、高可用的分布式定时任务框架。比较了几个主流的分布式框架，我最终pick了当当开源项目`ElasticJob`。
ES-JOB——分布式定时任务高级使用——控制台修改任务
qq_39246466的博客
12-07 1552
参考分布式定时任务基础使用：ES-JOB——分布式定时任务基础使用_择业的博客-优快云博客 再上面链接代码后进行代码编译 分布式定时任务：按照分片执行，同一个jar在不同服务器上发布，同一定时任务，按照定时任务的分片执行。 ...
@DataSource(value = DataSourceType.SHARDING)
最新发布
09-05
`@DataSource(value = DataSourceType.SHARDING)` 通常是自定义的注解，用于在多数据源环境下指定要使用的数据源。以下从使用方法、作用和原理三个方面进行详细介绍。 ### 使用方法 在需要指定数据源的服务层方法或类上添加该注解。例如： ```java import org.springframework.stereotype.Service; @Service public class YourService { @DataSource(value = DataSourceType.SHARDING) public void someMethod() { // 业务逻辑代码 } } ``` 上述代码在 `someMethod` 方法上添加了 `@DataSource(value = DataSourceType.SHARDING)` 注解，表示该方法执行时使用 `SHARDING` 数据源。 ### 作用 该注解的主要作用是在多数据源环境下灵活切换数据源。在实际开发中，可能会遇到需要同时操作多个数据库的场景，比如一个系统既需要访问主数据库，又需要访问从数据库，或者像引用中提到的使用分库分表的 `SHARDING_DATASOURCE` 数据源。通过使用 `@DataSource` 注解，可以根据业务需求动态地选择要使用的数据源，提高系统的灵活性和可扩展性。 ### 原理 `@DataSource` 注解的实现原理通常基于 Spring AOP（面向切面编程）和动态数据源切换机制。具体步骤如下： 1. **定义注解**：定义 `@DataSource` 注解，用于标记要使用的数据源。 ```java import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; @Target({ElementType.METHOD, ElementType.TYPE}) @Retention(RetentionPolicy.RUNTIME) public @interface DataSource { DataSourceType value() default DataSourceType.SPRING_DATASOURCE; } ``` 2. **实现动态数据源**：通过继承 `AbstractRoutingDataSource` 类，实现动态数据源切换。如引用[3]中所示： ```java public class DynamicDataSource extends AbstractRoutingDataSource { @Override protected Object determineCurrentLookupKey() { return DatabaseContextHolder.getDatabaseType(); } } ``` 3. **使用 AOP 切面**：创建一个切面类，在方法执行前根据 `@DataSource` 注解的值设置当前要使用的数据源。 ```java import org.aspectj.lang.JoinPoint; import org.aspectj.lang.annotation.After; import org.aspectj.lang.annotation.Aspect; import org.aspectj.lang.annotation.Before; import org.aspectj.lang.reflect.MethodSignature; import org.springframework.stereotype.Component; import java.lang.reflect.Method; @Aspect @Component public class DataSourceAspect { @Before("@annotation(com.example.DataSource)") public void before(JoinPoint point) { MethodSignature signature = (MethodSignature) point.getSignature(); Method method = signature.getMethod(); DataSource dataSource = method.getAnnotation(DataSource.class); if (dataSource != null) { DatabaseContextHolder.setDatabaseType(dataSource.value()); } } @After("@annotation(com.example.DataSource)") public void after(JoinPoint point) { DatabaseContextHolder.clearDatabaseType(); } } ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值