MatrixOne 支持多样化生态工具,持续提升开发者体验

达索PLM软件Smarteam 与Matrix One产品比较与选型经验 产品架构:最新版本的Matrix One是完全基于B/S架构完全开放的架构, 支持多种的 操作系统和开发语言。而SmarTeam到现在来讲,还是一个基于Windows的系统。SmarTeam即支持B/S模式,又支持C/S模型,但是在实施的过程中,无论是客户还是实施方都是以C/S模式为主。SmartWeb只不过是作为一种辅助手段,在客户不在局域网范围内的时候来使用。总的来所,SmartWeb的操作简便性不如SmatTeam Editor。 立即下载

概述

在选择一款数据库产品时,对数据库上下游生态组件的打通是大数据开发工程师需要面对的一致难题。

MatrixOne提出了“One Size Fits Most”理念,旨在用全新HSTAP技术架构打破数据孤岛,其中,与各生态组件的“无缝衔接”也是MatrixOne“一栈式”愿景中的重要一环。

MatrixOne高度兼容MySQL协议,在1.0正式版发布前,MatrixOne收集整理了社区反馈较多的上下游组件并进行了更为完整的适配。本轮适配主要围绕:数据集成工具、BI工具和数据计算引擎这三类生态工具。

Part 1 数据集成工具

数据集成工具可以将来自不同数据源的数据整合为统一的数据集,通常具备从不同数据源中收集数据、对数据进行清洗、转换、重构和整合的能力,以便能够在一个统一的数据仓库或数据湖中进行存储和管理。

与数据集成工具的适配可帮助数据开发工程师更丝滑高效的进行初期存量数据的迁移和后续日常的ETL作业,极大的保障工作效率和业务的稳定性。

MatrixOne在征集社区建议后,本轮优先对DataX与SeaTunnel进行了适配。得益于对MySQL协议的高度兼容,经过本轮适配,我们在DataX或SeaTunnel中可以直接使用MySQL所对应的Writer或Driver来对MatrixOne进行连接访问。

在DataX官方版本中,mysqlwriter默认使用版本较老的mysql-connector-java-5.1.47.jar驱动,为保证拥有更好的性能和兼容性,在适配了mysqlwriter的基础上,MatrixOne社区还基于mysqlwriter改造出使用mysql-connector-j-8.0.33.jar驱动的matrixonewriter,作业json示例如下,欢迎社区同学下载使用:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column" : [
                            {
                                "value": 20210106,
                                "type": "long"
                            },
                            {
                                "value": "matrixone",
                                "type": "string"
                            }
                        ],
                        "sliceRecordCount": 1000
                    }
                },
                "writer": {
                    "name": "matrixonewriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "111",
                        "column": [
                            "M_ID",
                            "M_NAME"
                        ],
                        "preSql": [
                            "delete from m_user"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:6001/mo_demo",
                                "table": [
                                    "m_user"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

Part 2 BI工具

BI即指商业智能(Business Intelligence),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。例如数据分析师会使用BI工具,基于海量的散乱数据进行数据分析,最终产出清晰的、可用于支持决策的数据报表。

BI工具所用的数据通常存储在数据库中,由于不同数据库之间语法存在不同程度的差异,BI厂商通常会与数据库厂商进行兼容性互认并针对性的开发出对应的连接器。

MatrixOne本次针对Superset、FineBI和永洪BI进行了首轮的适配,当我们在使用上述BI工具连接MatrixOne时,可以直接选择MySQL连接器,将MatrixOne视为MySQL进行连接访问,来对用户的数据可视化场景提供有效支撑。下图为永洪BI使用MySQL数据源连接示例:

BI的适配工作无法做到“一步到位”,MatrixOne当前先基于MySQL语法兼容性来实现与BI的高度兼容,随着MatrixOne新版本个性化能力的不断扩展,我们也会积极推进和BI厂商的互认,来协同开发出兼容性更优的专用连接器。

Part 3 数据计算引擎

大数据计算引擎主要用于对数据的加工、清洗、计算或迁移导入,常用的计算引擎例如:MapReduce、Storm、Spark、Flink等。其中,Spark和Flink作为目前主流的批量/流式计算引擎,MatrixOne进行了细节的测试和适配。

MatrixOne规划中的“流引擎”能力在持续完善中,在适配Spark/Flink引擎后,开发者可以直接使用通用JDBC驱动,在Spark或Flink中通过外部算力进行大数据量级的数据清洗,再或着,通过Flink实现更灵活的“流式数据源”的数据接入。例如,MatrixOne 1.0版本原生实现了与Kafka中数据源的连接:

CREATE SOURCE | SINK CONNECTOR [IF NOT EXISTS] connector_name CONNECTOR_TYPE WITH(property_name = expression [, ...]);

通过本轮适配Flink引擎,MatrixOne即可扩展支持包括Kafka、Pulsar、RocketMQ等更广泛的消息队列产品。以使用Flink Table API为例:

--定义Kafka源表
CREATE TABLE kafka_source (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING
) WITH (
  'connector' = 'kafka',
  'topic' = 'user_behavior',
  'properties.bootstrap.servers' = 'localhost:9092',
  'properties.group.id' = 'testGroup',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'csv'
)

--定义MatrixOne目标表,驱动使用mysql驱动
CREATE TABLE matrixone_kafka_sink (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
   PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql',
  'hostname' = '<yourHostname>',
  'port' = '6001',
  'username' = '<yourUsername>',
  'password' = '<yourPassword>',
  'database-name' = '<yourDatabaseName>',
  'table-name' = '<yourTableName>'
);

--同步Kafka流式数据到MatrixOne
INSERT INTO matrixone_sink SELECT * FROM kafka_source;

此外,借助Flink CDC,MatrixOne也可支持对传统TP类数据库的数据同步,这项能力的补齐可帮助企业在不改变原业务上游框架的基础上扩展加入MatrixOne,然后使用MatrixOne统一下游业务所需的数据分析场景,真正实现“Single Source of Truth”。仍以Flink Table API为例:

--定义MySQL CDC流式数据源
CREATE TABLE mysql_cdc_orders (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
  PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = 'localhost',
  'port' = '3306',
  'username' = 'flinkuser',
  'password' = 'flinkpw',
  'database-name' = 'mydb',
  'table-name' = 'orders'
);

--定义MatrixOne目标表,驱动使用mysql驱动
CREATE TABLE matrixone_cdc_sink (
  `user_id` BIGINT,
  `item_id` BIGINT,
  `behavior` STRING,
   PRIMARY KEY(user_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql',
  'hostname' = '<yourHostname>',
  'port' = '6001',
  'username' = '<yourUsername>',
  'password' = '<yourPassword>',
  'database-name' = '<yourDatabaseName>',
  'table-name' = '<yourTableName>'
);

--同步MySQL binlog流式数据到MatrixOne
INSERT INTO matrixone_cdc_sink SELECT * FROM mysql_cdc_orders;

随着MatrixOne 1.0正式版发版脚步渐近,越来越多的小伙伴开始在更多的业务中测试和使用MatrixOne,也为社区提出了非常多的宝贵建议。MatrixOne社区将响应社区开发者的呼声,持续适配主流的生态组件,不断提升产品的易用性和友好性。欢迎大家反馈在使用过程中发现的兼容性问题,您的每一个issue我们都无比珍视,社区开发者将会第一时间进行排期修复。


MatrixOne社区介绍

MatrixOne是一款面向未来的超融合异构云原生数据库管理系统。通过全新设计和研发的统一分布式数据库引擎,能够同时灵活支持OLTP、OLAP、 Streaming等不同工作负载的数据管理和应用,用户可以在公有云、自建数据中心和边缘节点上无缝部署和运行。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

Enovia Matrixone 开发之《mql1051.pdf》 mql1051.pdf,全英文版本,pdf 格式,大小 6 Mb。 立即下载

相关推荐

matrixone/ematrix开发手册

ENOVIALiveCollaborationApplicationDevelopmentGuide-V6R2009x.pdf matrixone/ematrix开发手册

MatrixOne 支持多样化生态工具

MatrixOne 规划中的“流引擎”能力在持续完善中,在适配 Spark/Flink 引擎后,开发者可以直接使用通用 JDBC 驱动,在 Spark 或 Flink 中通过外部算力进行大数据量级的数据清洗,再或着,通过 Flink 实现更灵活的“流式数据源”的数据接入。对于大数据开发者来说,在选择一款数据库产品时,数据库上下游生态组件的丰富度,是极其关键的选择因素。与数据集成工具的适配,可帮助数据开发者更丝滑高效的进行初期存量数据的迁移,以及后续日常的 ETL 作业,极大的保障工作效率和业务的稳定性。

MJ18154325481的博客 222

matrixone 方案介绍

matrix one 方案介绍 matrix one 方案介绍 matrix one 方案介绍

MatrixOne 实战系列回顾 | 建模与多租户

本次分享主要介绍MatrixOne建模与多租户相关内容。

MatrixOrigin的博客 368

ECU-TEST新手入门:从软件申请到第一个测试包创建的完整保姆级流程

本文详细介绍了ECU-TEST软件从申请试用、安装配置到创建第一个测试包的完整流程。针对新手用户,提供分步指导,包括界面认知、测试组件添加、变量定义及执行结果分析,帮助快速掌握汽车电子测试工具的基本操作。特别说明试用授权的两种获取方式和安装注意事项。

weixin_30606461的博客 481

Honeywell EPKS 核心功能块组态与执行调度实战解析

本文深入解析Honeywell EPKS系统的核心功能块组态与执行调度技术,涵盖控制模块(CM)、顺序控制模块(SCM)和输入输出模块(IOM)的配置方法。通过实战案例分享执行顺序(ORDERINCM)和CEE执行周期的优化策略,帮助工程师提升工业自动化系统的控制精度和运行效率。

weixin_28724319的博客 414

MatrixOne从入门到实践07——MO-Tester

MO-Tester 是基于 Java 语言进行开发,用于 MatrixOne 的测试套件。MO-Tester 构建了一整套完整的工具链来进行 SQL 自动测试。它包含测试用例和运行结果。MO-Tester 启动后,MO-Tester 将使用 MatrixOne 运行所有 SQL 测试用例,并将所有输出 SQL 测试结果与预期结果进行比较。所有案例的结果无论成功或者失败,都将记录在报告中。

MatrixOrigin的博客 811

保姆级教程:用Anaconda+PyCharm搞定YOLOv8本地部署(附避坑指南)

本文提供了一份详细的YOLOv8本地部署指南,涵盖Anaconda环境配置、PyCharm集成到模型部署的全过程。特别针对国内开发者需求,整合了镜像加速和常见报错解决方案,帮助快速完成目标检测模型的本地部署与实战应用。

weixin_42528090的博客 433

MatrixOne从入门到实践01——初识MatrixOne

介绍MatrixOne的各方面

MatrixOrigin的博客 363

Halcon和C#联合编程实现硬币识别(个人入门练习)

本人为机器视觉入门小白,自己突发奇想 1.图片数据来源和分析 2.HALCON实现 3.C#搭建界面框架 4.C#中嵌入HALCON代码,即联合编程 5.导出.exe文件,运行以及Debug 目标是这样的,在图片中识别出每种类型的硬币数量,然后计算出总钱数。先上结果,再细说过程。 C#界面和识别结果: 1.图片数据来源和分析 图片大小及格式均统一,拍摄的时候已经尽可能的去除了背景噪点,所以图像处理的要求并不很高(重点在于思路)。硬币区分原理本人代码采用直径范围来判断(也可以半径或区域面积,HALCON算子

Demobird的博客 3627

【AI Infra】Perfetto性能分析工具指南

Perfetto是一款开源性能分析工具,提供系统级和应用级的活动数据追踪功能。其界面分为四个区域:左侧操作区(包含Trace查看、SQL查询、预置分析等功能)、上方信息区、中间图形化展示区以及下方详细信息区。工具支持快捷键操作(w/s缩放、a/d移动、m标记等),并能高效处理大体积Trace文件。通过Timeline分析可发现性能瓶颈,如案例中update_actor耗时过高的问题,最终定位到CPU offloading导致的MemcpyH2D操作耗时过长,提出了优化方案。Perfetto相比Systrac

baiweizeng的博客 1511

MatrixOne 支持多样化生态工具,助力多样化数据应用场景

MatrixOne 是由矩阵起源从零自研的一款超融合异构云原生开源数据库,基于创新的统一分布式数据库引擎,在 HTAP 架构中注入了流的能力,为越来越复杂的数据应用场景注入极致的简洁性、极致的性能和极致的灵活度。MatrixOne 规划中的“流引擎”能力在持续完善中,在适配 Spark/Flink 引擎后,开发者可以直接使用通用 JDBC 驱动,在 Spark 或 Flink 中通过外部算力进行大数据量级的数据清洗,再或着,通过 Flink 实现更灵活的“流式数据源”的数据接入。

MJ13125030552的博客 141

mediasoup源码分析(二十)服务端架构设计

目录 简介 信令服务(房间服务) 调度服务 媒体服务 简介 流媒体服务器大的方向上可以分为上述三个模块。目前行业内都是分布式服务,独立部署。mediasoup信令与媒体之间虽然可以管道通信。但在行业内,服务之间通过管道通信用的少。 一般是rpc、mq,或者传统的tcp。这块licode架构比较不错,licode是信令和媒体服务通过MQ消息队列解耦。 下面介绍一下这三个服务主要功能,当然文中所说也是一家之言。 信令服务(房间服务) 信令服务也称为房间服务。有的企业把信令和房间分开,信..

lcalqf的专栏 1547

信创(国产化)方案

openEuler MatrixOne Nginx NET Core

weixin_45381071的博客 5060

这个AI工具可以把产品说明书转成演示视频,老板狂喜

回顾本文,我们从“传统视频制作的痛点”出发,拆解了AI将产品说明书转为视频的核心技术(NLP文本理解→CV画面生成→视频合成),并提供了3类工具实操方案(SaaS/开源/API)。推广成本降80%,制作效率提90%,产品迭代与推广终于能“同频”;摆脱对专业团队的依赖,自己就能快速产出高质量视频;对技术爱好者来说,这是一个“AI多模态融合”的绝佳实践案例(NLP+CV+语音合成的综合应用)。今天就找一份产品说明书,用HeyGen或Pictory试做一个视频。

AIGC应用创新大全的博客 325

[系统安全] 三十二.恶意代码检测(2)常用技术详解及总结

前文从产业界和学术界分别详细讲解恶意代码攻击溯源的相关知识,在学术界方面,用类似于综述来介绍攻击追踪溯源的不同方法;在产业界方面,主要参考李东宏老师从企业恶意样本分析的角度介绍溯源工作。这篇文章将详细总结恶意代码检测技术,包括恶意代码检测的对象和策略、特征值检测技术、校验和检测技术、启发式扫描技术、虚拟机检测技术和主动防御技术。希望这篇文章对您有所帮助,如果文章中存在错误、理解不到位或侵权的地方,还请告知作者与海涵。且看且珍惜,加油~

杨秀璋的专栏 1万+

MatrixOne Intelligence v3.3 正式发布:结构化、自动化、可视化三重进化

通过数据接入、智能解析、数据工作流、超融合的湖仓底座,MatrixOne Intelligence 为企业提供了一站式的端到端平台,将企业内部的自有数据变成可以服务于 GenAI 落地应用的 AI-Ready 数据。该能力显著降低了数据准备的技术门槛,提升了数据生成的效率与灵活性,帮助用户在多样化的下游任务中实现更高质量的数据驱动训练,缩短模型迭代周期,加速 AI 应用落地。:将原解析节点中的文本嵌入功能拆分为独立的文本嵌入节点,提升了解析流程的模块化与灵活性,便于用户按需组合调用。

MatrixOrigin的博客 801

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

技术解读|MatrixOne Intelligence模型解析原理及微调实践

其原理很简单:就像教学生做特定类型的应用题一样,我们给模型提供一批高质量的"问题-标准答案"对(即标注好的数据集),然后让模型根据这些范例来调整自己的内部参数,使其输出越来越接近我们提供的"标准答案"。其不仅仅是微调现有的VLM模型,而是重构了整个模型架构,并提出了先解析结构后解析内容(analyze‑then‑parse)的架构。在前文提到的文档解析任务中,这个"问题-标准答案"对就是"一篇PDF文档"和"它对应的完美Markdown格式文本"。OCR 的目标是将图像中的文字转换为机器可读的文本格式。

MatrixOrigin的博客 1243

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

大模型幻觉终结者!MatrixOne Intelligence 三层防御体系,重塑 AI 可靠性根基

本文探讨了LLM在企业落地时面临的"幻觉"问题,提出从架构层面构建三层防控体系:Memory(统一多模态数据存储)、Context(智能检索增强)和Weights(经验内化为模型权重)。通过超融合数据库底座实现数据互联、精准检索和持续微调,将AI可靠性从技巧提升至系统工程层面。文章最后指出AI应用开发人才缺口巨大,并附带相关培训课程的推广信息。(149字)

2401_85375151的博客 381

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

达索介绍PLM——深度解析SmarTeam与Matrix One

达索介绍PLM——深度解析SmarTeam与Matrix One 【下载地址】达索介绍PLM深度解析SmarTeam与MatrixOne 达索系统在PLM领域深耕多年,其SmarTeam和Matrix One解决方案各具特色。SmarTeam以灵活的数据管理和流程配置见长,适合中大型企业快速响应市场需求;而Matrix ...

gitblog_06708的博客 540

达索系统引领数字化的五个时代

2020年,达索系统宣布将引领数字化的第五个时代:生命科学数字化的时代。在此之前,达索系统已经引领了1981年开始的3D时代、1989年开始的数字样机时代、1999年开始的PLM时代、2012年开始的三维体验平台的时代。 本文将回顾达索系统过去的近40年历史,来看看达索系统是如何引领数字化的发展,为什么达索系统会把生命科学作为今后20年的发展方向。 第一次引领:3D时代 【1981年】达索系统从1981年9月开始运作。弗朗西斯·伯纳德(Francis Bernard)创建Dassau...

jcyouhun的博客 3718

国际PLM厂商2009差异化路线图

达索系统率先提出了PLM 2.0的理念,即充分利用Web 2.0的特性,通过在线团体协同创造的方式,在虚拟3D界面上有效进行产品信息管理,实现创新;而Siemens PLM Software在经过一系列的产品、技术整合之后,也正...

ctu91844的博客 116

MatrixOne UI Business Database

对于企业应用系统设计来说,类结构设计和类结构与数据库的对应是至关重要的。对于类结构,是采用继承还是组合。对应关系是采用直接关联还是间接关联。对于和数据库的对应关系,一个类对应一个数据库表,显然不是一个优秀的设计,也会导致系统后期的各种问题。就MatrixOne来讲,类大多数是一种组合关系,有些类则采用间接关系,比如说Message的Person的对应关系,就不是采用Raletionship来关联的。而MatrixOne的所有Type是对应数据库的一张表。这些都是MatrixOne设计的成功关键。

lishengc的专栏 560

MatrixOne v10.6.x安装简述

MatrixOne v10.6.x安装简述1 Install Oracle 9i/JDK 2 安装Matrix Core Server3. 安装Web服务器:Tomcat/Weblogic4. 安装eMatrix RMI5. 安...

ctu91844的博客 579
上一篇: 矩阵起源到此一游:千岛湖(内含海量招聘岗位)
下一篇: MatrixOne 实战系列回顾 | 建模与多租户
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值