数据库[分库分表]中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL

数据库技术-MyCat执行原理分析与初始Sharding-Jdbc MySQL高可用集群环境搭建 1、MyCat执行原理分析 2、MyCat与Sharding-Jdbc区别 3、基于Sharding-Jdbc实现读写分离 4、基于Sharding-Jdbc实现分表分库 4、Sharding-Jdbc源码分析 Sharding-Jdbc介绍 Sharding-Jdbc在3.0后改名为Shardingsphere它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分 阅读详情

????????????关注微信公众号:【芋艿的后端小屋】有福利:

  1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表

  2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址

  3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。

  4. 新的源码解析文章实时收到通知。每周更新一篇左右。

  5. 认真的源码交流微信群。


本文主要基于 Sharding-JDBC 1.5.0 正式版

  • 1. 概述

  • 2. InsertStatement

  • 3. #parse()

    • 3.1 #parseInfo()

    • 3.2 #parseColumns()

    • 3.3 #parseValues()

    • 3.4 #parseCustomizedInsert()

    • 3.5 #appendGenerateKey()

  • 666. 彩蛋


1. 概述

本文前置阅读:

  • 《SQL 解析(一)之词法解析》

  • 《SQL 解析(二)之SQL解析》

本文分享插入SQL解析的源码实现。

不考虑 INSERT SELECT 情况下,插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。

MySQL INSERT 语法一共有 3 种 :

  • 第一种: INSERT{VALUES|VALUES}

  1. INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]

  2.    [INTO] tbl_name

  3.    [PARTITION (partition_name,...)]

  4.    [(col_name,...)]

  5.    {VALUES | VALUE} ({expr | DEFAULT},...),(...),...

  6.    [ ON DUPLICATE KEY UPDATE

  7.      col_name=expr

  8.        [, col_name=expr] ... ]

  • 第二种: INSERT SET

  1. INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]

  2.    [INTO] tbl_name

  3.    [PARTITION (partition_name,...)]

  4.    SET col_name={expr | DEFAULT}, ...

  5.    [ ON DUPLICATE KEY UPDATE

  6.      col_name=expr

  7.        [, col_name=expr] ... ]

  • 第三种: INSERT SELECT

  1. INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]

  2.    [INTO] tbl_name

  3.    [PARTITION (partition_name,...)]

  4.    [(col_name,...)]

  5.    SELECT ...

  6.    [ ON DUPLICATE KEY UPDATE

  7.      col_name=expr

  8.        [, col_name=expr] ... ]

Sharding-JDBC 目前支持:

  • 第一种: INSERT{VALUES|VALUES} 单条记录

  • 第二种: INSERT SET

Sharding-JDBC 插入SQL解析主流程如下:

  1. // AbstractInsertParser.java

  2. public final InsertStatement parse() {

  3.   sqlParser.getLexer().nextToken(); // 跳过 INSERT 关键字

  4.   parseInto(); // 解析INTO

  5.   parseColumns(); // 解析表

  6.   if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {

  7.       throw new UnsupportedOperationException("Cannot support subquery");

  8.   }

  9.   if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一种插入SQL情况

  10.       parseValues();

  11.   } else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二种插入SQL情况

  12.       parseCustomizedInsert();

  13.   }

  14.   appendGenerateKey(); // 自增主键

  15.   return insertStatement;

  16. }

Sharding-JDBC 正在收集使用公司名单:传送门。
???? 你的登记,会让更多人参与和使用 Sharding-JDBC。传送门
Sharding-JDBC 也会因此,能够覆盖更多的业务场景。传送门
登记吧,骚年!传送门

2. InsertStatement

插入SQL 解析结果。

  1. public final class InsertStatement extends AbstractSQLStatement {

  2.    /**

  3.     * 插入字段

  4.     */

  5.    private final Collection<Column> columns = new LinkedList<>();

  6.    /**

  7.     *

  8.     */

  9.    private GeneratedKey generatedKey;

  10.    /**

  11.     * 插入字段 下一个Token 开始位置

  12.     */

  13.    private int columnsListLastPosition;

  14.    /**

  15.     * 值字段 下一个Token 开始位置

  16.     */

  17.    private int valuesListLastPosition;

  18. }

我们来看下 INSERT INTO t_order(uid,nickname)VALUES(?,?) 的解析结果:

3. #parse()

3.1 #parseInto()

解析表。

  1. // AbstractInsertParser.java

  2. /**

  3. * 解析表

  4. */

  5. private void parseInto() {

  6.   // 例如,Oracle,INSERT FIRST/ALL 目前不支持

  7.   if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) {

  8.       throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType());

  9.   }

  10.   sqlParser.skipUntil(DefaultKeyword.INTO);

  11.   sqlParser.getLexer().nextToken();

  12.   // 解析表

  13.   sqlParser.parseSingleTable(insertStatement);

  14.   skipBetweenTableAndValues();

  15. }

  16. /**

  17. * 跳过 表 和 插入字段 中间的 Token

  18. * 例如 MySQL :[PARTITION (partition_name,...)]

  19. */

  20. private void skipBetweenTableAndValues() {

  21.   while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) {

  22.       sqlParser.getLexer().nextToken();

  23.       if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {

  24.           sqlParser.skipParentheses();

  25.       }

  26.   }

  27. }

其中 #parseSingleTable() 请看《SQL 解析(二)之SQL解析》的 #parseSingleTable() 小节。

3.2 #parseColumns()

解析插入字段。

  1. // AbstractInsertParser.java

  2. private void parseColumns() {

  3.   Collection<Column> result = new LinkedList<>();

  4.   if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {

  5.       String tableName = insertStatement.getTables().getSingleTableName();

  6.       Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自动生成键信息

  7.       int count = 0;

  8.       do {

  9.           // Column 插入字段

  10.           sqlParser.getLexer().nextToken();

  11.           String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals());

  12.           result.add(new Column(columnName, tableName));

  13.           sqlParser.getLexer().nextToken();

  14.           // 自动生成键

  15.           if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) {

  16.               generateKeyColumnIndex = count;

  17.           }

  18.           count++;

  19.       } while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));

  20.       //

  21.       insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());

  22.       //

  23.       sqlParser.getLexer().nextToken();

  24.   }

  25.   insertStatement.getColumns().addAll(result);

  26. }

3.3 #parseValues()

解析值字段

  1. /**

  2. * 解析值字段

  3. */

  4. private void parseValues() {

  5.   boolean parsed = false;

  6.   do {

  7.       if (parsed) { // 只允许INSERT INTO 一条

  8.           throw new UnsupportedOperationException("Cannot support multiple insert");

  9.       }

  10.       sqlParser.getLexer().nextToken();

  11.       sqlParser.accept(Symbol.LEFT_PAREN);

  12.       // 解析表达式

  13.       List<SQLExpression> sqlExpressions = new LinkedList<>();

  14.       do {

  15.           sqlExpressions.add(sqlParser.parseExpression());

  16.       } while (sqlParser.skipIfEqual(Symbol.COMMA));

  17.       //

  18.       insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());

  19.       // 解析值字段

  20.       int count = 0;

  21.       for (Column each : insertStatement.getColumns()) {

  22.           SQLExpression sqlExpression = sqlExpressions.get(count);

  23.           insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule);

  24.           if (generateKeyColumnIndex == count) { // 自动生成键

  25.               insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));

  26.           }

  27.           count++;

  28.       }

  29.       sqlParser.accept(Symbol.RIGHT_PAREN);

  30.       parsed = true;

  31.   }

  32.   while (sqlParser.equalAny(Symbol.COMMA)); // 字段以 "," 分隔

  33. }

  34. /**

  35. * 创建 自动生成键

  36. *

  37. * @param column 字段

  38. * @param sqlExpression 表达式

  39. * @return 自动生成键

  40. */

  41. private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {

  42.   GeneratedKey result;

  43.   if (sqlExpression instanceof SQLPlaceholderExpression) { // 占位符

  44.       result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null);

  45.   } else if (sqlExpression instanceof SQLNumberExpression) { // 数字

  46.       result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber());

  47.   } else {

  48.       throw new ShardingJdbcException("Generated key only support number.");

  49.   }

  50.   return result;

  51. }

3.4.1 GeneratedKey

自动生成键,属于分片上下文信息。

  1. public final class GeneratedKey {

  2.    /**

  3.     * 字段

  4.     */

  5.    private final String column;

  6.    /**

  7.     * 第几个占位符

  8.     */

  9.    private final int index;

  10.    /**

  11.     * 值

  12.     */

  13.    private final Number value;

  14. }

3.4.2 Condition

条件对象,属于分片上下文信息。在插入SQL解析里存储影响分片的值字段。后续《SQL 路由》 会专门分享这块。

  1. public final class Condition {

  2.    /**

  3.     * 字段

  4.     */

  5.    @Getter

  6.    private final Column column;

  7.    // ... 省略其它属性

  8. }

  9. public final class Column {

  10.    /**

  11.     * 列名

  12.     */

  13.    private final String name;

  14.    /**

  15.     * 表名

  16.     */

  17.    private final String tableName;

  18. }

3.4 #parseCustomizedInsert()

解析第二种插入SQL: INSERT SET。例如:

  1. INSERT INTO test SET id = 4  ON DUPLICATE KEY UPDATE name = 'doubi', name = 'hehe';

  2. INSERT INTO test SET id = 4, name = 'hehe';

  1. private void parseInsertSet() {

  2.   do {

  3.       getSqlParser().getLexer().nextToken();

  4.       // 插入字段

  5.       Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName());

  6.       getSqlParser().getLexer().nextToken();

  7.       // 等号

  8.       getSqlParser().accept(Symbol.EQ);

  9.       // 【值】表达式

  10.       SQLExpression sqlExpression;

  11.       if (getSqlParser().equalAny(Literals.INT)) {

  12.           sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals()));

  13.       } else if (getSqlParser().equalAny(Literals.FLOAT)) {

  14.           sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals()));

  15.       } else if (getSqlParser().equalAny(Literals.CHARS)) {

  16.           sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals());

  17.       } else if (getSqlParser().equalAny(DefaultKeyword.NULL)) {

  18.           sqlExpression = new SQLIgnoreExpression();

  19.       } else if (getSqlParser().equalAny(Symbol.QUESTION)) {

  20.           sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex());

  21.           getSqlParser().increaseParametersIndex();

  22.       } else {

  23.           throw new UnsupportedOperationException("");

  24.       }

  25.       getSqlParser().getLexer().nextToken();

  26.       // Condition

  27.       if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {

  28.           getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule());

  29.       } else {

  30.           getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON);

  31.       }

  32.   } while (getSqlParser().equalAny(Symbol.COMMA)); // 字段以 "," 分隔

  33. }

3.5 #appendGenerateKey()

当表设置自动生成键,并且插入SQL没写自增字段,增加该字段。例如:

  1. // 主键为user_id

  2. INSERT INTO t_user(nickname, age) VALUES (?, ?)

后续 SQL 改写会生成该自增编号,并改写该 SQL。后续《SQL 改写》 会专门分享这块。

  1. private void appendGenerateKey() {

  2.   // 当表设置自动生成键,并且插入SQL没写自增字段

  3.   String tableName = insertStatement.getTables().getSingleTableName();

  4.   Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);

  5.   if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) {

  6.       return;

  7.   }

  8.   // ItemsToken

  9.   ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition());

  10.   columnsToken.getItems().add(generateKeyColumn.get());

  11.   insertStatement.getSqlTokens().add(columnsToken);

  12.   // GeneratedKeyToken

  13.   insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));

  14. }

3.5.1 GeneratedKeyToken

自增主键标记对象。

  1. public final class GeneratedKeyToken implements SQLToken {

  2.    /**

  3.     * 开始位置

  4.     */

  5.    private final int beginPosition;

  6. }

666. 彩蛋

???? 是不是比《SQL 解析(三)之插入SQL》简单很多。

道友,可否分享一波【本文】到朋友圈。

继续加油更新.

SQL语句填充占位符 动态生成SQL语句,通过给定的条件自动填充预设SQL语句的配位符,而避免通过程序判断生成SQL语句 立即下载

相关推荐

STM32F429+LAN8720实战:5分钟搞定LWIP裸机网络通讯(附完整代码)

本文详细介绍了如何在STM32F429微控制器上,结合LAN8720 PHY芯片,在裸机环境下快速部署和配置LWIP协议栈以实现网络通讯。内容涵盖硬件RMII接口连接、STM32CubeMX关键配置、代码移植与定制,以及常见问题排查方法,帮助工程师在资源受限的嵌入式系统中高效实现稳定的以太网功能。

2y3u4i5o6p的博客 968

MyBatis 使用报错:多表查询出现问题

报错: org.apache.ibatis.exceptions.PersistenceException: Error querying database. Cause: org.apache.ibatis.executor.ExecutorException: No constructor found in com.ntt.bean.User matching 解决方案: 给实体类添加空的构造方法 原因未知: ...

NTT0101的博客 684

燧原科技云燧ESL64-O超节点:国产AI芯片与OEX光互联架构解析

分布式AI训练通过将计算任务拆分到多个节点并行执行来加速模型训练,其核心原理涉及数据并行和模型并行等策略。在技术价值层面,分布式训练能显著提升大规模深度学习任务的效率,但传统GPU集群常因网络通信瓶颈导致性能受限。OEX光互联架构作为解决通信瓶颈的关键创新,采用硅光技术实现高带宽、低延迟的节点内互联,优化了AI训练中的集合操作。这种硬件级优化特别适用于千亿参数大模型训练和科学计算等场景,能有效降低AI集群的总体拥有成本(TCO)。云燧ESL64-O超节点正是基于国产自研AI芯片与OEX架构的集成方案,为大规

weixin_29071809的博客 374

sqoop导出mysql报错

报错如下 java.lang.RuntimeException: Can't parse input data: '\N\N\N' at ads_completed_claim_list.__loadFromFields(ads_completed_claim_list.java:1100) at ads_completed_claim_list.parse(ads_completed_claim_list.java:958) at org.apache.sqoop.mapreduce.Text

shengpli′s blog 968

逆向解析M团外卖mtgsig与waimai_sign加密参数实战指南⊙ω⊙

本文详细解析了M团外卖App中mtgsig与waimai_sign两个核心加密参数的逆向分析与生成方法。通过抓包定位、静态逆向与Frida动态调试,拆解了waimai_sign的RSA签名逻辑与mtgsig的复杂参数组装加密流程,并提供了Python模拟实现的框架与调试心得,为安全研究及合规数据分析提供实战指南。

weixin_29327525的博客 1285

点云最小二乘法拟合曲线

文章目录一、引言 一、引言

dayuhaitang1的博客 2736

SQL 基础笔记

查询 最后一条语句 select * from TABLE where (select max(ID) from TABLE) 删除 id 为 1的行 delete from TABLE where id=1; distinct 仅找出不同的选项 SQL函数 avg函数:计算查询中某一特定字段资料的算术平均值。 count函数:计算符合查询条件的记录数。 min, max函数:

那闯 1016

使用 MATLAB/Simulink 构建一个分布式光伏-储能联合系统在配电网中的协同控制模型

本文介绍了使用MATLAB/Simulink构建分布式光伏-储能联合系统协同控制模型的方法。该系统包含光伏发电、储能、负荷和控制器等模块,通过协同控制实现能量优化管理。建模过程详细说明了从创建项目、搭建组件到实现控制策略的步骤,包括光伏特性模拟、储能参数设置和负荷需求建模。重点设计了协同控制器算法,实时调节电力分配,并展示了系统运行指标和经济效益分析。该方法为多能互补系统在配电网中的应用提供了技术验证,未来可进一步优化控制算法和场景适应性。

MHD0815的博客 311

SQL中占位符?的用法介绍~

Sql语句中的占位符?有什么作用 String sql = "SELECT userid,name FROM tuser WHERE userid=? AND password=?" ; pstmt = conn.prepareStatement(sql) ; pstmt.setString(1,userid) ; // 这里设置了第一个?的值 pstmt.setString(2,pas...

程序人生~ 4万+

CVPR 2026 即插即用 | 注意力篇 | PFG:多尺度大核+像素级频率门控,特征显著增强,精准适配边缘纹理场景

本文提出了一种基于频率引导的轻量级外围门控模块PFG,用于高效时空预测学习。该模块通过多尺度大核分解卷积(1×K + K×1)捕捉外围空间依赖,同时利用固定频率滤波器提取高频线索,动态融合不同尺度的外围特征。核心创新包括:外围聚焦的多尺度空间增强、频率引导的动态融合机制、双阶段归一化协同等。实验表明,PFGNet在多个基准数据集上达到SOTA性能,同时保持较低计算复杂度。该模块可直接嵌入各类视觉模型,适用于需要强化空间-通道协同表达的轻量级任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 486

HFSS 3D Layout仿真PCB操作说明

本文介绍一种特别适合PCB这种叠层结构的仿真软件,HFSS 3D Layout既有操作的简便性,又有同3D软件仿真所有的精确性,仿真速度上又比3D软件快很多。

sinat_15150363的博客 3949

mysql设置表名字为占位符_MySQL ------ 事务处理(transaction)(二十八)

MySQL支持的几种数据库引擎,并非所有的引擎都支持明确的事务处理管理,MYISAM 和 INNODB 是最常用的引擎,而MYISAM 不支持事务处理,innodb支持事务处理,所以一定要正确 使用引擎类型。事务处理(transaction processing):可以用来维护数据库的完整性,保证成批的MySQL操作要么完全执行,要么完全不执行。在关系型数据库设计把数据存储在多个表中,使数据更容易...

weixin_39989796的博客 571

【精细解读】xapp585(多通道LVDS接口ADC)

xapp585的参考设计有Verilog和VHDL两种源码。

FPGA艺术家的博客 535

数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL解析

本文分享**插入SQL解析**的源码实现。 不考虑 INSERT SELECT 情况下,插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。**本文分享 MySQL 插入SQL解析器 MySQLInsertParser**。

芋艿V 975

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL

http://www.cnblogs.com/yunai/p/7356628.html 1. 概述2. InsertStatement3. #parse() 3.1 #parseInfo()3.2 #parseColumns()3.3 #parseValues()3.4 #parseCustomizedInsert()3.5 #appendGenerateKey() 666. 彩

zdy0_2004的专栏 854

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【源码】Sharding-JDBC源码分析之Sql解析的原理

本文从源码的角度分析Sharding-JDBC中SQL解析的实现原理。以MySQL数据库的Select查询语句为例,分享了Sharding-JDBC中通过Antlr工具进行SQL解析的流程。重点分享了MySQLStatementSQLVisitor的源码。

JingAi_jia917的博客 1934

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 路由(二)之分库分表路由

������关注微信公众号:【芋道源码】有福利: 1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表 2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址 3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。 4. 新的源码解析文章实时收到通知。每周更新

芋艿V 9759

数据库中间件 Sharding-JDBC 和 MyCAT 源码解析合集

Sharding-JDBC 目录如下:Sharding-JDBC 源码分析 —— SQL 解析(一)之词法解析Sharding-JDBC 源码分析 —— SQL 解析(二...

芋道源码 1074

【源码】Sharding-JDBC源码分析之JDBC

本篇重点讲解了JDBC及其原理,在此基础上,结合ShardingSphereDriver的源码,对ShardingSphere的框架有一个清晰的整体的认识。

JingAi_jia917的博客 1398

Sharding-Jdbc

Sharding-Jdbc 基于Sharding-Jdbc实现读写分离 基于Sharding-Jdbc实现分表分库 Sharding-Jdbc源码分析 数据库集群自动增长id,Sharding-Jdbc 雪花算法 Sharding-Jdbc介绍 Sharding-Jdbc在3.0后改名为Shardingsphere它由Sharding-JDBC、Sharding-Proxy和Shar...

art_code的博客 519

Sharding-JDBC 源码分析 —— JDBC实现与读写分离

1. 概述 本文主要分享JDBC与读写分离的实现。为什么会把这两个东西放在一起讲呢?客户端直连数据库的读写分离主要通过获取读库和写库的不同连接来实现,和 JDBC Connection 刚好放在一块。 OK,我们先来看一段 Sharding-JDBC 官方对自己的定义和定位 Sharding-JDBC定位为轻量级java框架,使用客户端直连数据库,以jar包形式提供服务,未使用中间层,无需额外部署,无其他依赖,DBA也无需改变原有的运维方式,可理解为增强版的JDBC驱动,旧代码迁移成本几乎为...

weixin_42073629的博客 587

数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 改写

本文分享**SQL 改写**的源码实现。主要涉及两方面: 1. SQL 改写:改写 SQL,解决分库分表后,查询结果需要聚合,需要对 SQL 进行调整,例如分页 2. SQL 生成:生成分表分库的执行 SQL

芋艿V 773

数据库技术-Sharding-Jdbc分片集群分表分库

MySQL高可用集群环境搭建 1、MyCat执行原理分析 2、MyCat与Sharding-Jdbc区别 3、基于Sharding-Jdbc实现读写分离 4、基于Sharding-Jdbc实现分表分库 5、Sharding-Jdbc源码分析 Sharding-Jdbc 1、Sharding-Jdbc实现分片算法 2、Sharding-Jdbc实现分表分库 3、SpringBoot整合Sharding-Jdbc 4、Sharding-Jdbc查询原理分析 Sharding-Jdbc介绍

魔法革1996 427

数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 解析(五)之更新SQL解析

- [1. 概述](#) - [2. UpdateStatement](#) - [3. #parse()](#) - [3.1 #skipBetweenUpdateAndTable()](#) - [3.2 #parseSingleTable()](#) - [3.3 #parseSetItems()](#) - [3.4 #parseWhere()](#) - [666. 彩蛋](#)

芋艿V 759
上一篇: 数据库中间件 Sharding-JDBC 源码分析 —— SQL 解析(三)之查询SQL
下一篇: 数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL解析
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值