Mapper中获取分片信息

最新推荐文章于 2024-09-23 18:03:18 发布
最新推荐文章于 2024-09-23 18:03:18 发布
阅读量306 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/d2457638978/article/details/88793646
本文介绍在MapReduce中处理不同类型的输入文件，包括单文件输入、合并文件输入及使用MultipleInputs时如何正确获取输入路径。针对不同场景，文章详细解释了如何通过反射等技术手段解决特定类型输入分片的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

场景

输入路径中含有重要信息，需要在map的时候进行处理。

场合

只有一个Mapper，每个mapper只处理一个输入文件
protected void setup(Context context) throws IOException, InterruptedException {
    Path path = ((FileSplit) context.getInputSplit()).getPath();
}
使用似CombineTextInputFormat作为输入处理
protected void setup(Context context) throws IOException, InterruptedException {
    //只要众多合并文件中的第一个路径，通常会在combine的时候将处理的文件按某种逻辑合并作为一个分片
    Path firstPath = ((CombineFileSplit) context.getInputSplit()).getPath(0);
}
MultipleInputs

使用上面的方式会报错

Error: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit
	at com.miaozhen.verify.admVerify.calGivt.GivtMapper.setup(GivtMapper.java:26)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)
    at org.apache.hadoop.mapreduce.lib.input.DelegatingMapper.run(DelegatingMapper.java:55)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1688)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

因为TaggedInputSplit类不是public的，无法通过强制转换来解决，可以通过反射来获得TaggedInputSplit中的inputSplit，源自hadoop MultipleInputs fails with ClassCastException

protected void setup(Context context) throws IOException, InterruptedException {
    InputSplit split = context.getInputSplit();
    Class<? extends InputSplit> splitClass = split.getClass();

    FileSplit fileSplit = null;
    if (splitClass.equals(FileSplit.class)) {
        fileSplit = (FileSplit) split;
    } else if (splitClass.getName().equals(
        "org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit")) {
        // begin reflection hackery...
        try {
            Method getInputSplitMethod = splitClass
                .getDeclaredMethod("getInputSplit");
            getInputSplitMethod.setAccessible(true);
            fileSplit = (FileSplit) getInputSplitMethod.invoke(split);
        } catch (Exception e) {
            // wrap and re-throw error
            throw new IOException(e);
        }
    }
    Path path = fileSplit.getPath();
}
【GlobalMapper精品教程】031：Globalmapper在航测内业数据处理中的应用举例
「 刘一哥与GIS的故事」
11-27 1178
Globalmapper在航测内业数据处理中的应用举例索引。文章目录 1. 图像及航线浏览 2. 3D重建 3. 点云分类 4. 创建地形 5. 地形分析 1. 图像及航线浏览 扩展阅读：【GlobalMapper精品教程】032：浏览地理照片及航线信息（航测应用） 在这里插入图片描述 2. 3D重建 从Global Mapper的19版本开始，Pixels-to-Points工具已集成到可选的LiDAR模块中，该工具可用于分析一系列重叠的图像以创建
shardingsphere5.5.1基于spring体系的集成-复合分片02
笨鸟不会飞
11-08 254
shardingsphere已经实现的等分片算法都可以基于复合分片算法来实现，在本章中我们将会编写如何基于shardingsphere5.5.1版本实现我们的通用内置分片算法和复合分片算法。
在进入Mapper之前的输入分片处理过程详解
mybulesky的专栏
08-23 712
输入前的过程是这样的： 1. JobClient调用getSplits方法以期望的map任务数numSplits作为参数传入，这个参数将作为一个参考值，因为InpFutormat实现可以自由地返回另一个不同于numSplits制定值得分片数。         2.在计算好分片数后，客户端将他们发送到jobtracker，jobtracker便使用其存储位置信息来调度map任务（具体该距离最近的
MapReduce获取分片数目
aoe41606的博客
03-06 205
问题 MapReduce Application中mapper的数目和分片的数目是一样的，可是分片数目和什么有关呢？ 默认情况下。分片和输入文件的分块数是相等的。也不全然相等，假设block size大小事128M，文件大小为128.1M，文件的bloc...
Mapper中的文件信息
qiezikuaichuan的专栏
09-29 331
处理文件输入分片的mapper可以从作业配置对象的某些特定的属性中读取输入分片的相关信息，这可以通过调用在mapper的Context对象上的getInputSplit方法来实现， 当输入的格式源来自原FileInputFormat的时候，该方法返回的InputSplit可以被强制转换成一个FileSplit ， hadoop权威指南 page= 260
【MapReduce详解及源码解析（一）】——分片输入、Mapper及Map端Shuffle过程
lzw2016的博客
12-03 2212
title: 【MapReduce详解及源码解析（一）】——分片输入、Mapper及Map端Shuffle过程 date: 2018-12-03 21:12:42 tags: Hadoop categories: 大数据 toc: true 点击查看我的博客：Josonlee’s Blog 版权声明：本文为博主原创文章，未经博主允许不得转载（https://blog.csdn.net/lzw20...
MapReuce中对于文本文件的数据分片以及读取分片的源码分析
Coding Space
03-31 433
InputFormat抽象类 InputFormat主要用于描述输入数据的格式(这里我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： 数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的split； 为Mapper提供输入数据：读取给定的split的数据，解析成一...
xxl-job - 分片任务实战
qq_19783793的博客
09-23 1054
xxl-job 分布式定时任务 调度中心 集群 分片 实战
关于读取mapper的两种方式
weixin_30576827的博客
03-24 183
第一种: 第二种: 转载于:https://www.cnblogs.com/classmethond/p/10586641.html
Mybatis ResultMap传递参数给子Collection对应查询的ResultMap中
weixiaohuai的博客
11-12 8349
一、问题描述 最近在做项目时，需要使用Mybatis的ResultMap高级映射查询“校区 - 楼栋 - 楼层”树结构的数据，前端提供很多过滤条件都是子查询楼层的一些字段属性，并不是所有的参数都是最外层查询的过滤条件，但是ResultMap本身不支持将参数从外层的查询一直传递到子查询。 举个简单的例子，mapper接口传递了一些参数到mapper.xml中，如果不额外处理，这些参数只能在最外面...
shardbatis:非侵入式Mybatis分片插件
05-14
Non-Intrusive Mybatis Sharding Plugin, source from What is shardbatis? Shardbatis的名称由shard(ing)+mybatis组合得到，诣在为mybatis实现数据水平切分的功能。数据的水平切分包括多数据库的切分和多表的数据切分，目前shardbatis只实现了单数据库的数据多表水平切分。Shardbatis2.0以插件的方式和mybatis3.x进行整合，对mybatis的代码无侵入，不改变用户对mybatis的使用习惯。 shardbatis2.x使用指南 运行环境 jdk 6.0+ mybatis 3.x 下载 & 安装 git clone 将repository目录下的shardbatis和jsqlparser导入maven本地仓库或者公司的二方库 mvn install:install-file
报mapper绑定异常
2301_76395115的博客
02-13 287
Invalid bound statement (not found): com.skyable.monitor.mapper.mysgl.ClusterMaper.listClusters
原生mybatis批量插入分片
Linaon的博客
05-04 230
【代码】原生mybatis批量插入分片。
shardingsphere-jdbc之Mybatis Hint 分片算法
Lance
02-24 2676
介绍 基于shardingsphere-jdbc 5.1.0 进行单库分表. 规则配置 Hint 分片算法需要用户实现 org.apache.shardingsphere.sharding.api.sharding.hint.HintShardingAlgorithm 接口。 Apache ShardingSphere 在进行路由时，将会从 HintManager 中获取分片值进行路由操作。 try (HintManager hintManager = HintManager.getInstanc
spring-boot 整合 shardingsphere-jdbc、mybatis-plus 数据分片（文末有彩蛋）
qq_37220802的博客
04-02 2834
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。
Mybatis Plus 数据分片-水平分库分表策略
逸轩
01-27 3339
在实际应用中，需要根据业务需求和数据量的大小，选择合适的分片键和分片规则，以达到提高数据库性能和可扩展性的目的。在使用MyBatis Plus进行数据分片时，需要谨慎处理跨库跨表的查询，注意数据迁移和扩容的问题，以确保整个数据分片系统的稳定性和可维护性。数据分片是一种处理大量数据的有效策略，但在实施过程中需要注意一些关键的事项，以确保分片系统的性能、稳定性和可维护性。分片规则的设计直接关系到数据分片的正确性，以及每个分片的数据能否被正确路由到相应的库和表中。选择合适的分片键是数据分片中至关重要的一步。
数据库分表之Mybatis+Mysql实践（表切分）
weixin_34310369的博客
02-02 365
2019独角兽企业重金招聘Python工程师标准>>> ...
【MongoDB】查看集合是否分片 及片健创建、删除
热门推荐
zhuchunyan_aijia的博客
06-25 1万+
查看分片键 MongoDB会把分片过的集合保存在config.collection集合中，若需要查看分片键，则需要根据该集合进行查找。官方的其他很多分片快捷命令也都处于config库 三种方式 去config库中查询 这种办法可以查看分片键信息 db.collections.find({$and: [ ...
mybatis源码分析之spring加载mapper.xml文件原理解析
timy07的博客
08-16 7417
首先我们来看看mapper.xml文件的加载方式 第一种：基于mapper接口类具体路径配置 这种情况下，如果是非注解模式的话xml配置文件必须和这个类在同一级目录，且与Mapper类同名。项目结构类似 第二种：基于mapper类所在包的package路径配置    其实这算是第一种的一个变种。一个配置mapper类，每次新加删除比较麻烦，直接扫描mapper类所在包。项目结构类...
日志AOP，每月分片保存在新的表中
最新发布
07-30
<think>我们使用AOP来实现日志记录功能，并且将日志按月份分片存储到不同的数据库表中。方案如下： 1. **AOP切面设计**：创建一个切面，通过注解标记需要记录日志的方法，在方法执行后记录操作日志。 2. **日志分片存储**：根据当前时间生成对应的月份分片表名，将日志存储到对应月份的表中。 3. **动态表名处理**：在MyBatis等持久层框架中，可以使用动态表名的方式来实现按月分表。 具体步骤： ### 1. 定义日志注解 首先，定义一个注解`@LogRecord`，用于标记需要记录日志的方法，并可以设置日志内容。 ```java @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) public @interface LogRecord { String content() default ""; // 操作内容 } ``` ### 2. 创建AOP切面 创建一个切面，拦截带有`@LogRecord`注解的方法，在方法执行成功后记录日志。 ```java @Aspect @Component public class LogAspect { @Autowired private LogService logService; // 日志服务 @AfterReturning(pointcut = "@annotation(logRecord)", returning = "result") public void doAfterReturning(JoinPoint joinPoint, LogRecord logRecord, Object result) { // 获取注解中的内容 String content = logRecord.content(); // 构建日志实体 LogEntity logEntity = new LogEntity(); logEntity.setContent(content); logEntity.setCreateTime(new Date()); // 其他字段，如操作人、IP等，可以从请求上下文或参数中获取 // 调用日志服务，保存日志（这里会处理分表） logService.save(logEntity); } } ``` ### 3. 日志实体设计 日志实体类，注意这里不需要指定表名，因为表名是动态的。 ```java public class LogEntity { private Long id; private String content; // 操作内容 private Date createTime; // 操作时间 // 其他字段... } ``` ### 4. 日志服务与分表实现 在日志服务中，根据当前时间生成表名，然后使用MyBatis的动态表名功能插入到对应月份的表中。 #### 动态表名处理 我们可以使用ThreadLocal来传递动态表名。首先，定义一个动态表名上下文： ```java public class DynamicTableNameHolder { private static final ThreadLocal<String> tableName = new ThreadLocal<>(); public static void setTableName(String name) { tableName.set(name); } public static String getTableName() { return tableName.get(); } public static void clear() { tableName.remove(); } } ``` 然后，在MyBatis的拦截器中，根据日志的创建时间计算表名，并设置到动态表名上下文中。但是，我们这里更直接的方式是在插入日志时动态计算表名，并修改SQL。 另一种方式：在Mapper XML中使用动态表名。但是MyBatis默认不支持表名作为参数传递，我们可以通过自定义拦截器来实现。 这里我们使用简单的方法：在日志服务中，直接拼接表名，然后调用不同的Mapper方法（每个表对应一个Mapper？显然不现实）。因此，我们采用自定义拦截器来动态修改表名。 #### 自定义MyBatis拦截器 创建一个拦截器，拦截插入操作，动态修改表名为按月分片的表。 ```java @Intercepts({@Signature(type = StatementHandler.class, method = "prepare", args = {Connection.class, Integer.class})}) public class DynamicTableNameInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { StatementHandler statementHandler = (StatementHandler) invocation.getTarget(); MetaObject metaObject = SystemMetaObject.forObject(statementHandler); // 获取原始SQL String originalSql = (String) metaObject.getValue("delegate.boundSql.sql"); // 如果SQL中包含特定的表名（比如固定前缀），则进行替换 // 假设我们基础表名为log，分片表名为log_202201, log_202202等 if (originalSql.contains("log")) { // 从当前线程上下文中获取动态表名 String dynamicTableName = DynamicTableNameHolder.getTableName(); if (dynamicTableName != null) { // 替换表名 String newSql = originalSql.replaceAll("log", dynamicTableName); metaObject.setValue("delegate.boundSql.sql", newSql); } } return invocation.proceed(); } } ``` 在日志服务中，我们在调用Mapper的插入方法之前，先根据日志的创建时间设置动态表名。 ```java @Service public class LogServiceImpl implements LogService { @Autowired private LogMapper logMapper; @Override public void save(LogEntity log) { // 根据日志的创建时间生成表名后缀，如202201 String tableSuffix = new SimpleDateFormat("yyyyMM").format(log.getCreateTime()); String tableName = "log_" + tableSuffix; // 设置动态表名 DynamicTableNameHolder.setTableName(tableName); try { logMapper.insert(log); } finally { DynamicTableNameHolder.clear(); } } } ``` ### 5. 创建日志表 需要预先创建日志表，可以按月创建，比如： - log_202201 - log_202202 - ... 表结构相同。可以在程序启动时检查表是否存在，不存在则创建，或者使用定时任务提前创建。 ### 6. 配置MyBatis拦截器 在MyBatis配置中注册拦截器： ```java @Configuration public class MyBatisConfig { @Bean public DynamicTableNameInterceptor dynamicTableNameInterceptor() { return new DynamicTableNameInterceptor(); } } ``` ## 注意事项 1. **动态表名的线程安全**：我们使用了ThreadLocal来传递表名，确保每个线程使用自己的表名，不会相互干扰。 2. **表不存在的问题**：在插入之前，需要确保该月的表已经存在。可以在插入前检查，如果不存在则创建。或者使用一个定时任务，在每月初创建当月的日志表。 3. **性能**：动态修改SQL对性能影响很小，因为拦截器只对包含特定表名的SQL进行修改。 ## 分表创建策略 可以在日志服务中，插入前检查表是否存在，不存在则创建： ```java @Service public class LogServiceImpl implements LogService { @Autowired private LogMapper logMapper; @Autowired private JdbcTemplate jdbcTemplate; @Override public void save(LogEntity log) { String tableSuffix = new SimpleDateFormat("yyyyMM").format(log.getCreateTime()); String tableName = "log_" + tableSuffix; // 检查表是否存在，不存在则创建 createTableIfNotExists(tableName); DynamicTableNameHolder.setTableName(tableName); try { logMapper.insert(log); } finally { DynamicTableNameHolder.clear(); } } private void createTableIfNotExists(String tableName) { // 使用jdbcTemplate检查表是否存在，如果不存在则创建 String sql = "CREATE TABLE IF NOT EXISTS " + tableName + " LIKE log"; jdbcTemplate.execute(sql); } } ``` 这里假设已经有一张基础表`log`，我们使用`LIKE`语句创建一张相同结构的表。如果没有基础表，则需要提供完整的建表语句。 ## 总结 通过AOP切面拦截需要记录日志的方法，然后根据当前时间动态确定分片表名，利用MyBatis拦截器动态替换SQL中的表名，实现日志的按月分表存储。同时，在插入前确保分表存在，不存在则创建。 这个方案实现了日志记录与业务逻辑的解耦，并且支持日志的按月分表存储，便于后续的日志管理和查询。 [^1]: 引用自AOP日志示例 [^2]: 引用自AOP思想介绍 [^3]: 引用自分片规则示例 §§相关问题§§ 1. AOP切面中如何获取方法参数和返回值？ 2. 动态表名拦截器会影响其他SQL吗？ 3. 按月分表后，如何查询跨月的日志数据？</think>### 使用AOP实现日志记录并按月分表存储的方案 #### 1. **AOP切面设计** 通过自定义注解和切面实现日志记录，与业务逻辑解耦： ```java @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) public @interface MonthlyLog { String value(); // 操作描述 } ``` ```java @Aspect @Component public class LogAspect { @Autowired private LogService logService; // 日志服务层 @AfterReturning(pointcut = "@annotation(monthlyLog)", returning = "result") public void logAfterReturning(JoinPoint joinPoint, MonthlyLog monthlyLog, Object result) { // 1. 构建日志实体 LogEntity log = new LogEntity(); log.setOperation(monthlyLog.value()); // 从注解获取操作描述 log.setCreateTime(new Date()); // 当前时间 // 2. 获取方法参数信息（可选） Object[] args = joinPoint.getArgs(); if (args.length > 0) { log.setParams(JsonUtils.toJson(args[0])); // 序列化参数 } // 3. 调用分表存储服务 logService.saveWithMonthlySharding(log); } } ``` #### 2. **动态表名分片策略** 使用月份后缀动态生成表名（如 `log_202301`）： ```java @Service public class LogServiceImpl implements LogService { @Autowired private LogMapper logMapper; // MyBatis Mapper @Override public void saveWithMonthlySharding(LogEntity log) { // 1. 生成动态表名 String tableSuffix = new SimpleDateFormat("yyyyMM").format(log.getCreateTime()); String dynamicTable = "log_" + tableSuffix; // 如 log_202301 // 2. 检查表是否存在（不存在则创建） createTableIfAbsent(dynamicTable); // 3. 设置动态表名并插入 logMapper.insertLog(dynamicTable, log); } private void createTableIfAbsent(String tableName) { // 执行DDL语句（示例） String sql = "CREATE TABLE IF NOT EXISTS " + tableName + " LIKE log_template"; jdbcTemplate.execute(sql); // 使用JdbcTemplate执行 } } ``` #### 3. **MyBatis动态SQL处理** 在Mapper中通过参数传递表名： ```xml <!-- LogMapper.xml --> <insert id="insertLog"> INSERT INTO ${tableName} (operation, params, create_time) VALUES (#{log.operation}, #{log.params}, #{log.createTime}) </insert> ``` ```java // Mapper接口 public interface LogMapper { void insertLog(@Param("tableName") String tableName, @Param("log") LogEntity log); } ``` #### 4. **业务层使用示例** 在需要记录日志的方法上添加注解： ```java @Service public class UserService { @MonthlyLog("更新用户信息") public void updateUser(User user) { // 业务逻辑... } } ``` #### 5. **表结构设计建议** 基础表结构（每月分表继承此结构）： ```sql CREATE TABLE log_template ( id BIGINT AUTO_INCREMENT PRIMARY KEY, operation VARCHAR(100) NOT NULL, -- 操作描述 params TEXT, -- 方法参数 create_time DATETIME NOT NULL -- 操作时间 ); ``` ### 关键实现细节 1. **动态表名生成** - 基于操作时间生成 `log_yyyyMM` 格式表名 - 首次访问时自动建表（`CREATE TABLE IF NOT EXISTS`） 2. **AOP与业务解耦** - 通过 `@MonthlyLog` 注解标记需要日志的方法 - 切面自动捕获操作参数和时间戳[^1] 3. **分表查询优化** - 跨月查询使用 `UNION ALL` 合并多表 ```sql SELECT * FROM log_202301 UNION ALL SELECT * FROM log_202302 WHERE operation = '用户更新' ``` 4. **事务管理** - 日志记录与业务操作使用独立事务，避免日志失败影响主业务 ### 注意事项 1. **表管理策略** - 添加定时任务提前创建下月表（避免首次访问延迟） - 归档历史数据（如将半年前数据迁移到备份库） 2. **性能优化** - 批量插入日志时使用异步处理（如 `@Async`） - 为 `create_time` 字段建立索引 3. **扩展性设计** - 可配置分片粒度（月/季度/年），通过配置文件切换 - 支持多数据源分片（不同表存储在不同数据库实例）[^3] [^1]: AOP通过拦截方法实现业务与日志解耦 [^3]: 分片策略可按时间维度动态路由表名
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值