MatrixOne 支持多样化生态工具,持续提升开发者体验

达索PLM软件Smarteam 与Matrix One产品比较与选型经验 产品架构:最新版本的Matrix One是完全基于B/S架构完全开放的架构, 支持多种的 操作系统和开发语言。而SmarTeam到现在来讲,还是一个基于Windows的系统。SmarTeam即支持B/S模式,又支持C/S模型,但是在实施的过程中,无论是客户还是实施方都是以C/S模式为主。SmartWeb只不过是作为一种辅助手段,在客户不在局域网范围内的时候来使用。总的来所,SmartWeb的操作简便性不如SmatTeam Editor。 立即下载

概述

在选择一款数据库产品时,对数据库上下游生态组件的打通是大数据开发工程师需要面对的一致难题。

MatrixOne提出了“One Size Fits Most”理念,旨在用全新HSTAP技术架构打破数据孤岛,其中,与各生态组件的“无缝衔接”也是MatrixOne“一栈式”愿景中的重要一环。

MatrixOne高度兼容MySQL协议,在1.0正式版发布前,MatrixOne收集整理了社区反馈较多的上下游组件并进行了更为完整的适配。本轮适配主要围绕:数据集成工具、BI工具和数据计算引擎这三类生态工具。

Part 1 数据集成工具

数据集成工具可以将来自不同数据源的数据整合为统一的数据集,通常具备从不同数据源中收集数据、对数据进行清洗、转换、重构和整合的能力,以便能够在一个统一的数据仓库或数据湖中进行存储和管理。

与数据集成工具的适配可帮助数据开发工程师更丝滑高效的进行初期存量数据的迁移和后续日常的ETL作业,极大的保障工作效率和业务的稳定性。

MatrixOne在征集社区建议后,本轮优先对DataX与SeaTunnel进行了适配。得益于对MySQL协议的高度兼容,经过本轮适配,我们在DataX或SeaTunnel中可以直接使用MySQL所对应的Writer或Driver来对MatrixOne进行连接访问。

在DataX官方版本中,mysqlwriter默认使用版本较老的mysql-connector-java-5.1.47.jar驱动,为保证拥有更好的性能和兼容性,在适配了mysqlwriter的基础上,MatrixOne社区还基于mysqlwriter改造出使用mysql-connector-j-8.0.33.jar驱动的matrixonewriter,作业json示例如下,欢迎社区同学下载使用:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column" : [
                            {
                                "value": 20210106,
                                "type": "long"
                            },
                            {
                                "value": "matrixone",
                                "type": "string"
                            }
                        ],
                        "sliceRecordCount": 1000
                    }
                },
                "writer": {
                    "name": "matrixonewriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "111",
                        "column": [
                            "M_ID",
                            "M_NAME"
                        ],
                        "preSql": [
                            "delete from m_user"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:6001/mo_demo",
                                "table": [
                                    "m_user"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

Part 2 BI工具

BI即指商业智能(Business Intelligence),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。例如数据分析师会使用BI工具,基于海量的散乱数据进行数据分析,最终产出清晰的、可用于支持决策的数据报表。

BI工具所用的数据通常存储在数据库中,由于不同数据库之间语法存在不同程度的差异,BI厂商通常会与数据库厂商进行兼容性互认并针对性的开发出对应的连接器。

MatrixOne本次针对Superset、FineBI和永洪BI进行了首轮的适配,当我们在使用上述BI工具连接MatrixOne时,可以直接选择MySQL连接器,将MatrixOne视为MySQL进行连接访问,来对用户的数据可视化场景提供有效支撑。下图为永洪BI使用MySQL数据源连接示例:

BI的适配工作无法做到“一步到位”,MatrixOne当前先基于MySQL语法兼容性来实现与BI的高度兼容,随着MatrixOne新版本个性化能力的不断扩展,我们也会积极推进和BI厂商的互认,来协同开发出兼容性更优的专用连接器。

Part 3 数据计算引擎

大数据计算引擎主要用于对数据的加工、清洗、计算或迁移导入,常用的计算引擎例如:MapReduce、Storm、Spark、Flink等。其中,Spark和Flink作为目前主流的批量/流式计算引擎,MatrixOne进行了细节的测试和适配。

MatrixOne规划中的“流引擎”能力在持续完善中,在适配Spark/Flink引擎后,开发者可以直接使用通用JDBC驱动,在Spark或Flink中通过外部算力进行大数据量级的数据清洗,再或着,通过Flink实现更灵活的“流式数据源”的数据接入。例如,MatrixOne 1.0版本原生实现了与Kafka中数据源的连接:

CREATE SOURCE | SINK CONNECTOR [IF NOT EXISTS] connector_name CONNECTOR_TYPE WITH(property_name = expression [, ...]);

通过本轮适配Flink引擎,MatrixOne即可扩展支持包括Kafka、Pulsar、RocketMQ等更广泛的消息队列产品。以使用Flink Table API为例:

--定义Kafka源表
CREATE TABLE kafka_source (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING
) WITH (
  'connector' = 'kafka',
  'topic' = 'user_behavior',
  'properties.bootstrap.servers' = 'localhost:9092',
  'properties.group.id' = 'testGroup',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'csv'
)

--定义MatrixOne目标表,驱动使用mysql驱动
CREATE TABLE matrixone_kafka_sink (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
   PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql',
  'hostname' = '<yourHostname>',
  'port' = '6001',
  'username' = '<yourUsername>',
  'password' = '<yourPassword>',
  'database-name' = '<yourDatabaseName>',
  'table-name' = '<yourTableName>'
);

--同步Kafka流式数据到MatrixOne
INSERT INTO matrixone_sink SELECT * FROM kafka_source;

此外,借助Flink CDC,MatrixOne也可支持对传统TP类数据库的数据同步,这项能力的补齐可帮助企业在不改变原业务上游框架的基础上扩展加入MatrixOne,然后使用MatrixOne统一下游业务所需的数据分析场景,真正实现“Single Source of Truth”。仍以Flink Table API为例:

--定义MySQL CDC流式数据源
CREATE TABLE mysql_cdc_orders (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
  PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = 'localhost',
  'port' = '3306',
  'username' = 'flinkuser',
  'password' = 'flinkpw',
  'database-name' = 'mydb',
  'table-name' = 'orders'
);

--定义MatrixOne目标表,驱动使用mysql驱动
CREATE TABLE matrixone_cdc_sink (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
   PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql',
  'hostname' = '<yourHostname>',
  'port' = '6001',
  'username' = '<yourUsername>',
  'password' = '<yourPassword>',
  'database-name' = '<yourDatabaseName>',
  'table-name' = '<yourTableName>'
);

--同步MySQL binlog流式数据到MatrixOne
INSERT INTO matrixone_cdc_sink SELECT * FROM mysql_cdc_orders;

随着MatrixOne 1.0正式版发版脚步渐近,越来越多的小伙伴开始在更多的业务中测试和使用MatrixOne,也为社区提出了非常多的宝贵建议。MatrixOne社区将响应社区开发者的呼声,持续适配主流的生态组件,不断提升产品的易用性和友好性。欢迎大家反馈在使用过程中发现的兼容性问题,您的每一个issue我们都无比珍视,社区开发者将会第一时间进行排期修复。


MatrixOne社区介绍

MatrixOne是一款面向未来的超融合异构云原生数据库管理系统。通过全新设计和研发的统一分布式数据库引擎,能够同时灵活支持OLTP、OLAP、 Streaming等不同工作负载的数据管理和应用,用户可以在公有云、自建数据中心和边缘节点上无缝部署和运行。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

Enovia Matrixone 开发之《mql1051.pdf》 mql1051.pdf,全英文版本,pdf 格式,大小 6 Mb。 立即下载

相关推荐

matrixone/ematrix开发手册

ENOVIALiveCollaborationApplicationDevelopmentGuide-V6R2009x.pdf matrixone/ematrix开发手册

MatrixOne 支持多样化生态工具

MatrixOne 规划中的“流引擎”能力在持续完善中,在适配 Spark/Flink 引擎后,开发者可以直接使用通用 JDBC 驱动,在 Spark 或 Flink 中通过外部算力进行大数据量级的数据清洗,再或着,通过 Flink 实现更灵活的“流式数据源”的数据接入。对于大数据开发者来说,在选择一款数据库产品时,数据库上下游生态组件的丰富度,是极其关键的选择因素。与数据集成工具的适配,可帮助数据开发者更丝滑高效的进行初期存量数据的迁移,以及后续日常的 ETL 作业,极大的保障工作效率和业务的稳定性。

MJ18154325481的博客 222

matrixone 方案介绍

matrix one 方案介绍 matrix one 方案介绍 matrix one 方案介绍

MatrixOne 实战系列回顾 | 建模与多租户

本次分享主要介绍MatrixOne建模与多租户相关内容。

MatrixOrigin的博客 368

vllm运行过程中出现cuda out of memory

将长序列分解为多个小块,每个块分别处理。这样可以减少单次 Prefill 的计算量和显存占用,从而优化 TTFT 和显存使用效率。考虑使用 CPU 卸载(如 --cpu-offload-gb),将部分缓存卸载到 CPU 内存中,扩展 GPU 的虚拟内存。在大语言模型中,当输入序列很长(例如超过 1024 个 Token)时,Prefill 阶段的计算量会非常大。最后增加了enable-chunked-prefill参数和max_num_batched_tokens解决了问题。参数来进一步优化性能。

盛世芳华 3519

Quantum Espresso实战进阶:HSE混合泛函在能带计算中的精准应用

本文深入探讨了在Quantum Espresso中应用HSE混合泛函进行高精度能带计算的实战方法。针对传统DFT方法低估半导体带隙的问题,HSE通过混合精确交换能,显著提升计算精度。文章详细讲解了从输入文件配置、参数设置(如nqx网格、exxdiv_treatment)、到自洽与非自洽计算流程,以及结果可视化与对比的全过程,并提供了关键的调优与避坑指南,助力实现从PBE到HSE的精准进阶。

weixin_28363123的博客 229

MatrixOne从入门到实践07——MO-Tester

MO-Tester 是基于 Java 语言进行开发,用于 MatrixOne 的测试套件。MO-Tester 构建了一整套完整的工具链来进行 SQL 自动测试。它包含测试用例和运行结果。MO-Tester 启动后,MO-Tester 将使用 MatrixOne 运行所有 SQL 测试用例,并将所有输出 SQL 测试结果与预期结果进行比较。所有案例的结果无论成功或者失败,都将记录在报告中。

MatrixOrigin的博客 811

Ships Dataset:解锁海洋探索的数字宝库

在海上交通管理中,通过对船舶的持续跟踪,可以及时发现船舶的异常行为,如偏离航线、超速等,保障海上航行的安全。例如,通过分析船舶的航行数据和位置信息,合理安排船舶的停靠时间和装卸货物顺序,避免港口拥堵,提高船舶的周转率。同时,还精确标注了船舶在图像中的位置坐标,通过这些坐标,我们可以准确地定位船舶在图像中的具体位置,为后续的分析和处理提供了精确的依据。从繁忙运输货物的货船,到承载着能源使命的油轮,再到穿梭于海洋寻找鱼群的渔船 ,每一种船舶都有着独特的外形和功能,在数据集中留下了它们的身影。

qq_38220914的博客 1269

MatrixOne从入门到实践01——初识MatrixOne

介绍MatrixOne的各方面

MatrixOrigin的博客 363

ADS学习笔记 1. 功率放大器设计

基于ADS2023 update2的学习笔记1.功率放大器设计

u014087103的博客 1万+

【GEOS-Chem模拟教程第二期下】全球生物质燃烧 GFAS 数据配置

本博客详细介绍全球生物质燃烧 GFAS 数据下载及在 GEOS-CHEM 模型中的配置

WW、forever的博客 1396

MatrixOne 支持多样化生态工具,助力多样化数据应用场景

MatrixOne 是由矩阵起源从零自研的一款超融合异构云原生开源数据库,基于创新的统一分布式数据库引擎,在 HTAP 架构中注入了流的能力,为越来越复杂的数据应用场景注入极致的简洁性、极致的性能和极致的灵活度。MatrixOne 规划中的“流引擎”能力在持续完善中,在适配 Spark/Flink 引擎后,开发者可以直接使用通用 JDBC 驱动,在 Spark 或 Flink 中通过外部算力进行大数据量级的数据清洗,再或着,通过 Flink 实现更灵活的“流式数据源”的数据接入。

MJ13125030552的博客 141

儿童启蒙教育APP

pinyinList.add(createPinyin("a", "啊,像阿姨的阿", R.raw.pinyin_a));pinyinList.add(createPinyin("i", "衣,像衣服的衣", R.raw.pinyin_i));pinyinList.add(createPinyin("u", "乌,像乌鸦的乌", R.raw.pinyin_u));pinyinList.add(createPinyin("ü", "鱼,像小鱼的鱼", R.raw.pinyin_v));-- 固定竖屏 -->

寒寒豆豆软件公司的博客 170

信创(国产化)方案

openEuler MatrixOne Nginx NET Core

weixin_45381071的博客 5060

工商银行数据智能架构实践

工商银行大数据平台技术创新与实践摘要(149字): 工商银行构建了企业级大数据云基础设施,形成包含批量计算、流计算、联机分析等核心能力的技术架构。平台创新性地实现流批一体处理,将个人储蓄存款监测时效提升至分钟级;通过实时数仓技术将报送时效缩短至1-5分钟;融合内外部数据构建风控模型,债券违约预警准确率达100%。平台还支撑了"码上赢"精准营销和空间数据服务等创新应用,未来将向存算分离、实时数仓和云数智融合方向演进,持续提升数据价值转化能力。

银行信息系统应用架构详解 544

LoRa无线通信技术介绍(六)SX127X芯片收发程序讲解

接收LORA芯片SX127X的收发程序。

DT程序员的博客 1753

MatrixOne Intelligence v3.3 正式发布:结构化、自动化、可视化三重进化

通过数据接入、智能解析、数据工作流、超融合的湖仓底座,MatrixOne Intelligence 为企业提供了一站式的端到端平台,将企业内部的自有数据变成可以服务于 GenAI 落地应用的 AI-Ready 数据。该能力显著降低了数据准备的技术门槛,提升了数据生成的效率与灵活性,帮助用户在多样化的下游任务中实现更高质量的数据驱动训练,缩短模型迭代周期,加速 AI 应用落地。:将原解析节点中的文本嵌入功能拆分为独立的文本嵌入节点,提升了解析流程的模块化与灵活性,便于用户按需组合调用。

MatrixOrigin的博客 801

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

技术解读|MatrixOne Intelligence模型解析原理及微调实践

其原理很简单:就像教学生做特定类型的应用题一样,我们给模型提供一批高质量的"问题-标准答案"对(即标注好的数据集),然后让模型根据这些范例来调整自己的内部参数,使其输出越来越接近我们提供的"标准答案"。其不仅仅是微调现有的VLM模型,而是重构了整个模型架构,并提出了先解析结构后解析内容(analyze‑then‑parse)的架构。在前文提到的文档解析任务中,这个"问题-标准答案"对就是"一篇PDF文档"和"它对应的完美Markdown格式文本"。OCR 的目标是将图像中的文字转换为机器可读的文本格式。

MatrixOrigin的博客 1243

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

大模型幻觉终结者!MatrixOne Intelligence 三层防御体系,重塑 AI 可靠性根基

本文探讨了LLM在企业落地时面临的"幻觉"问题,提出从架构层面构建三层防控体系:Memory(统一多模态数据存储)、Context(智能检索增强)和Weights(经验内化为模型权重)。通过超融合数据库底座实现数据互联、精准检索和持续微调,将AI可靠性从技巧提升至系统工程层面。文章最后指出AI应用开发人才缺口巨大,并附带相关培训课程的推广信息。(149字)

2401_85375151的博客 381

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

达索介绍PLM——深度解析SmarTeam与Matrix One

达索介绍PLM——深度解析SmarTeam与Matrix One 【下载地址】达索介绍PLM深度解析SmarTeam与MatrixOne 达索系统在PLM领域深耕多年,其SmarTeam和Matrix One解决方案各具特色。SmarTeam以灵活的数据管理和流程配置见长,适合中大型企业快速响应市场需求;而Matrix ...

gitblog_06708的博客 540

达索系统引领数字化的五个时代

2020年,达索系统宣布将引领数字化的第五个时代:生命科学数字化的时代。在此之前,达索系统已经引领了1981年开始的3D时代、1989年开始的数字样机时代、1999年开始的PLM时代、2012年开始的三维体验平台的时代。 本文将回顾达索系统过去的近40年历史,来看看达索系统是如何引领数字化的发展,为什么达索系统会把生命科学作为今后20年的发展方向。 第一次引领:3D时代 【1981年】达索系统从1981年9月开始运作。弗朗西斯·伯纳德(Francis Bernard)创建Dassau...

jcyouhun的博客 3718

国际PLM厂商2009差异化路线图

达索系统率先提出了PLM 2.0的理念,即充分利用Web 2.0的特性,通过在线团体协同创造的方式,在虚拟3D界面上有效进行产品信息管理,实现创新;而Siemens PLM Software在经过一系列的产品、技术整合之后,也正...

ctu91844的博客 116

MatrixOne UI Business Database

对于企业应用系统设计来说,类结构设计和类结构与数据库的对应是至关重要的。对于类结构,是采用继承还是组合。对应关系是采用直接关联还是间接关联。对于和数据库的对应关系,一个类对应一个数据库表,显然不是一个优秀的设计,也会导致系统后期的各种问题。就MatrixOne来讲,类大多数是一种组合关系,有些类则采用间接关系,比如说Message的Person的对应关系,就不是采用Raletionship来关联的。而MatrixOne的所有Type是对应数据库的一张表。这些都是MatrixOne设计的成功关键。

lishengc的专栏 560

MatrixOne v10.6.x安装简述

MatrixOne v10.6.x安装简述1 Install Oracle 9i/JDK 2 安装Matrix Core Server3. 安装Web服务器:Tomcat/Weblogic4. 安装eMatrix RMI5. 安...

ctu91844的博客 579
上一篇: 矩阵起源到此一游:千岛湖(内含海量招聘岗位)
下一篇: MatrixOne 实战系列回顾 | 建模与多租户
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值