otter

otter

https://github.com/alibaba/otter
同样是阿里巴巴开源的数据同步工具
定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

注意:基于cannal

原理

  1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击

  2. 典型管理系统架构,manager(web管理)+node(工作节点)

    a. manager运行时推送同步配置到node节点

    b. node节点将同步状态反馈到manager上

  3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.

说白了 cannal拿到binlog日志以后,处理完以后, 就交给这货,这货有管理配置页面。还做了一些关于可靠性和速度的考虑。

使用

(注意如果使用docker安装的机子上有mysql,会启动不了)
参考issue https://github.com/alibaba/otter/issues/695
因此在下面提供手动安装的方式
拉docker镜像
docker pull canal/otter-all
创建otter目录
cd /usr/local
mkdir otter
进入otter目录,运行otter镜像
curl -fsSL https://raw.githubusercontent.com/alibaba/otter/master/docker/run.sh | bash

手动安装

####manager安装
https://github.com/alibaba/otter/wiki/Manager_Quickstart

  1. java环境 mysql等 初始化otter需要的表等 自行安装

  2. 使用docker启动zookeeper(otter依赖于zookeeper做集群管理)
    docker run --name otter-zookeeper -p 2181:2181 --restart always -d zookeeper

3.下载otter manager https://github.com/alibaba/otter/releases 解压缩 修改配置 然后启动 等参考官方手册md文档

node安装

https://github.com/alibaba/otter/wiki/Node_Quickstart
官方文档已经可以满足需求了

### Otter 大型语言模型简介 Otter 是一种大型语言模型 (LLM),其设计目标在于高效处理多模态数据并提供高质量的语言生成能力。以下是关于 Otter 的一些关键特性及其实现细节: #### 架构特点 Otter 基于 Transformer 结构构建,具有强大的上下文理解和生成能力[^1]。它通过优化参数量和计算效率,在保持高性能的同时降低了资源消耗。具体来说,Otter 使用了一种混合专家机制(MoE, Mixture of Experts),这使得它可以动态分配计算资源到最需要的部分。 #### 数据训练 该模型经过大规模语料库的预训练过程,涵盖了广泛的文本类型,包括但不限于科学文章、技术文档以及日常对话等内容[^2]。这种多样化的训练方式帮助 Otter 更好地适应不同场景下的应用需求。 #### 实现细节 在实际部署方面,为了提高推理速度与降低延迟时间,开发团队采用了多种先进技术手段来优化性能表现。其中包括量化方法的应用——即将浮点数转换成较低精度的数据形式以减少内存占用;还有就是分布式系统的运用,则允许跨多个GPU/TPU设备上运行单个实例从而加速整体运算流程[^3]。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("otter-model") model = AutoModelForCausalLM.from_pretrained("otter-model") input_text = "Tell me about the history of artificial intelligence." inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(inputs.input_ids, max_length=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 上述代码片段展示了如何加载预先训练好的 Otter 模型,并利用其生成一段有关人工智能历史的信息。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值