Atlas-sharding_1.0.1安装配置

MongoDB Atlas向量搜索实战:Python构建生产级语义检索系统 向量搜索是现代数据库实现语义理解的核心能力,其本质是将文本、图像等非结构化数据映射为高维空间中的数学向量,并通过近似最近邻(ANN)算法快速检索语义相似项。技术原理依赖嵌入模型(embedding)生成固定维度向量,结合HNSW等高效索引结构实现毫秒级召回。该能力显著提升推荐、查重、知识问答等场景的准确率与用户体验,正成为企业级数据库的标配功能。本文聚焦MongoDB Atlas原生向量搜索与Python工程实践,覆盖从索引构建、向量生成到生产级查询优化的完整链路,特别适配已具备基础CRUD能力、亟需落地语 阅读详情

1.环境

OS: CentOS 6.5 x64

MySQL: 5.6 for Linux (x86_64)

Atlas IP        : 192.168.10.180

MySQL Master IP : 192.168.10.181

MySQL Slave IP  : 192.168.10.182

注意:先将MySQL的主从复制配置好。


MySQL源码安装可以参考:http://blog.youkuaiyun.com/john_chang11/article/details/51593220

MySQL RPM安装可以参考:http://blog.youkuaiyun.com/john_chang11/article/details/51622725


2.Atlas准备

使用是支持分片的最新版本:Atlas-sharding_1.0.1,使用rpm包安装,下载地址:https://github.com/Qihoo360/Atlas/releases/

想要看源码的可以看这里:https://github.com/Qihoo360/Atlas/tree/sharding


atlas官网上给出了以下提示:

(1).Atlas只能安装运行在64位的系统上。
(2).Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos 6.X安装Atlas-XX.el6.x86_64.rpm.
(3).后端mysql版本应大于5.1,建议使用Mysql 5.6.

3.Atlas安装

sudo rpm –i Atlas-XX.el6.x86_64.rpm安装。就这么简单。

安装目录在:/usr/local/mysql-proxy

目录内容如下:

[root@test1 ~]# cd /usr/local/mysql-proxy/
[root@test1 mysql-proxy]# ls
bin  conf  include  lib  libexec  log  share

4.配置文件修改

配置文件在./conf目录下,默认有个test.cnf文件,里面有所有的配置项,只要复制修改这个文件就行。

[root@test1 mysql-proxy]# cd conf/
[root@test1 conf]# vi test.cnf 

[mysql-proxy]

(必备,默认值即可)管理接口的用户名。这是Atlas的管理用户与MySQL库的用户没有任何关系,可以随便配置。后面会有该用户的使用说明
admin-username = user
(必备,默认值即可)管理接口的密码
admin-password = 111
(必备,根据实际情况配置)主库的IP和端口
proxy-backend-addresses =192.168.10.181:3306
(非必备,根据实际情况配置)从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔。如果想让主库也能分担读请求的话,只需要将主库信息加入到下面的配置项中。
proxy-read-only-backend-addresses =192.168.10.182:3306@1
(必备,根据实际情况配置)用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码(用户名和密码在主从数据库上要一致)。比如用户名为user,密码为111,执行./encrypt mypwd结果为9YGoyKZPMdg=。如果有多个用户用逗号分隔即可。则设置如下行所示:
pwds = user: 9YGoyKZPMdg=,user2:HJBoxfRsjeI=
(必备,默认值即可)Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true
daemon = true
(必备,默认值即可)设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true
keepalive = true
(必备,根据实际情况配置)工作线程数,推荐设置成系统的CPU核数的2至4倍。Atlas官网上推荐设置为CPU的核数。本人推荐设置为CPU核数的1到2倍。
event-threads = 4
(必备,默认值即可)日志级别,分为message、warning、critical、error、debug五个级别
log-level = message
(必备,默认值即可)日志存放的路径
log-path = /usr/local/mysql-proxy/log
(必备,根据实际情况配置)SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,该模式下日志刷新是基于缓冲区的,当日志填满缓冲区后,才将日志信息刷到磁盘。REALTIME用于调试,代表记录SQL日志且实时写入磁盘,默认为OFF。这里的日志是Atlas的日志,与MySQL的日志无关。
sql-log = OFF
(可选项,可不设置)慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
sql-log-slow = 10
(可选项,可不设置)关闭不活跃的客户端连接设置。当设置了该参数时,Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。单位:秒
wait-timeout = 10
#实例名称,用于同一台机器上多个Atlas实例间的区分。同一台机器上的多个Atlas实例,使用不同的端口,对应不同数据库,使用各自的配置文件。
instance = test
(必备,默认值即可)Atlas监听的工作接口IP和端口
proxy-address = 192.168.10.180:1234
(必备,默认值即可)Atlas监听的管理接口IP和端口。登录这个地址就要使用这个配置文件最开始时配置的用户和密码。
admin-address = 192.168.10.180:2345
(可选项,可不设置)分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项,子表需要事先建好,子表名称为表名_数字,数字范围为[0,子表数-1],如本例里,子表名称为mt_0、mt_1、mt_2。关于分表会专门文章介绍,这里不配置分表。
#tables = person.mt.id.3
(可选项,可不设置)默认字符集,若不设置该项,则默认字符集为latin1。为了支持汉字,需要配置成utf8。
charset = utf8
(可选项,可不设置)允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1
(可选项,极少需要)Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置
#lvs-ips = 192.168.1.1
5.密码生成
配置文件里pwds参数需要加密的密码,假如密码为111,生成这个密码的加密字符串方式为:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/encrypt 111
9YGoyKZPMdg= (这就是加密字符串)
[root@test1 mysql-proxy]# 

6.启动 停止 Atlas
启动:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxyd test start
OK: MySQL-Proxy of test is started
或者用指定参数文件方式启动:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf

查看状态:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxyd test status
MySQL-Proxy of test is running (7024)
MySQL-Proxy of test is running (7025)

停止:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxyd test stop
OK: MySQL-Proxy of test is stopped

查看状态:
[root@test1 mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxyd test status
MySQL-Proxy of test is NOT running
[root@test1 mysql-proxy]# 


7.制作Atlas启动脚本
[root@test1 mysql-proxy]# vi /etc/init.d/atlas
#!/bin/sh  
#  
# chkconfig: 2345 90 90
# description:  Atlas Daemon  
#  
start()  
{  
        echo -n $"Starting atlas: "  
        /usr/local/mysql-proxy/bin/mysql-proxyd test start  
        echo   
}  
stop()  
{  
        echo -n $"Shutting down atlas: "  
        /usr/local/mysql-proxy/bin/mysql-proxyd test stop  
        echo  
}  
ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"  
[ -f $ATLAS ] || exit 1  
# See how we were called.  
case "$1" in  
        start)  
                start  
                ;;  
        stop)  
                stop  
                ;;  
        restart)  
                stop  
                sleep 3  
                start  
                ;;  
        *)  
                echo $"Usage: $0 {start|stop|restart}"  
                exit 1  
esac  
exit 0  

[root@test1 init.d]# chkconfig atlas on
[root@test1 init.d]#

大模型越狱指令数据集全解析:从AdvBench到HarmBench 本文全面解析了AdvBench、HarmBench等主流大模型越狱指令数据集。AdvBench作为基础测试集,用于快速评估模型安全基线;HarmBench则以其全面的文本、多模态及对抗性攻击评估,成为当前权威的深度安全审计工具。文章还介绍了MaliciousInstruct、JailbreakBench等特色数据集,并提供了根据实际场景选择与使用这些数据集的具体实战指南。 阅读详情

相关推荐

稳定性性能系列之十五——系统稳定性监控体系建设:从指标到预警的完整方案

深入探讨Android系统稳定性监控体系的设计与实现,涵盖指标体系设计、数据采集方案、异常检测算法、预警响应机制,并提供完整的监控平台搭建实践。

Cheson的专栏 1358

redis集群主从连接失败!8a6a4735e45fccf3688ddd2f9ad44c9f2d885692 192.168.10.180:6384@16384 master,fail -

可以看到,一直在连接主机,但是连接失败!猜测可能是防火墙的问题,查看了防火墙的状态(命令: systemctl status firewalld),防火墙是开启的。可以永久关闭防火墙: systemctl disable firewalld.service。关闭防火墙后(命令:systemctl stopfirewalld),重启集群。问题解决,主从连接成功!

qq_49089820的博客 396

【Unity】入门教程第一期-下载安装Unity编辑器(下)

讲解如何在Unity Hub中下载Unity编辑器以及IED环境

Xiaoxin的博客 2040

LVS负载均衡群集部署——DR直接路由

DR

weixin_67565536的博客 687

VSCode玩转STM32:手把手教你配置EIDE插件与OpenOCD调试(附野火DAP配置文件详解)

本文详细介绍了如何在VSCode中配置EIDE插件与OpenOCD进行STM32开发,特别针对野火DAP调试器提供了配置文件详解。从基础环境搭建到深度调试技巧,帮助开发者高效完成STM32项目开发,实现现代化嵌入式开发工作流。

weixin_26905487的博客 553

ESP-Mesh-Lite vs ESP-Mesh:如何选择适合你的物联网组网方案?

本文深入对比了乐鑫ESP-Mesh-Lite与ESP-Mesh两种物联网组网方案的核心差异。重点解析了ESP-Mesh-Lite分布式协议栈架构的优势,即每个节点拥有独立IP,可直接访问外部网络,极大简化了应用层开发。文章从网络架构、性能、开发体验及适用场景等多维度进行分析,为开发者根据项目需求(如分布式数据采集、智能家居或集中控制网络)选择最合适的方案提供了清晰的决策框架。

pluto的博客 816

Nginx+Keepalived 实现Nginx高可用集群安装与卸载

本文只介绍源码包安装keepalived。keepalived高可用的安装及卸载

weixin_39184401的博客 1380

【鸿蒙南向开发】OpenHarmony音频驱动audio适配方案

这份鸿蒙(HarmonyOS NEXT)文档包含了鸿蒙开发必掌握的核心知识要点,内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony南向开发、鸿蒙项目实战等等)鸿蒙(HarmonyOS NEXT)技术知识点。

HarmonyOS_666的博客 4511

综合k8s集群项目

模拟企业里的web业务部署k8s. web服务, MySQL. nfs. harbor, zabbix. Prometheus, gitlab. Jenkins. ansible环境, 保障web业务的高可用。自动扩缩完成副本数量的改变可能需要几分钟的时间。# 采用HPA技术,当cpu使用率达到50%的时候,进行水平扩缩,最小1个,最多10个pod。d.修改/etc/sysctl.d/kubernetes.conf文件,添加配置。b.添加需要加载的模块写入脚本文件,保证在节点重启后能自动加载所需模块。

qq_45906313的博客 2311

ARM芯片内部的高速公路:手把手教你用AMBA Designer配置NIC-400互连控制器

本文详细介绍了如何使用AMBA Designer工具配置ARM芯片中的NIC-400互连控制器,涵盖从基础拓扑构建到高级QoS设置的完整流程。通过实际案例演示,帮助开发者掌握AXI协议下的高效片上网络设计,提升SoC性能与能效比。

weixin_26750481的博客 311

【WorkBuddy专栏51】Codex与WorkBuddy的底层基因——两条完全不同的AI智能体路线(上)

【WorkBuddy专栏51】Codex与WorkBuddy的底层基因——两条完全不同的AI智能体路线(上)

AI人人懂 2168

mysql-proxy代理端口无法启动

mysql-proxy的配置文件如下: [mysql-proxy] user=root #运行mysql-proxy用户 admin-username=myproxy #主从mysql共有的用户 admin-password=123456 #用户的密码 proxy-address=127.0.0.1:4040 #mysql-proxy运行ip和端口,不加端口,默认4040 proxy-re...

YICONGITSME的博客 2332

【ComfyUI】Wan 2.2 14B 首尾帧转视频 平滑过渡

本文介绍了基于 Wan2.2 ComfyUI 的视频生成工作流,通过预训练模型、提示词与参考图像的结合,实现高质量视频合成。工作流采用高低噪声模型与 LoRA 模块优化风格与细节,确保画面过渡平滑稳定。核心流程包括模型加载、图像输入、提示词编码、潜空间采样、解码与视频合成,最终生成动态转场视频。节点设计涵盖 CLIPTextEncode、KSamplerAdvanced 等关键模块,协同完成从文本到视频的全链路生成。正向提示词作为核心驱动力,直接影响视频的动作、镜头与画面变化。

Mr数据杨 1701

Atlas Sharding 安装、配置及简单测试

1、软件下载地址: https://github.com/Qihoo360/Atlas/releases 2、Atlas Sharding简介 Sharding的基本思想就是把一个数据表中的数据切分成多个部分, 存放到不同的主机上去(切分的策略有多种), 从而缓解单台机器的性能跟容量的问题. sharding是一种水平切分, 适用于单表数据庞大

地 衣 3833

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

sharding-sphere 安装使用

分布式主键 传统数据库软件开发中,主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持,比如MySQL的自增键,Oracle的自增序列等。 数据分片后,不同数据节点生成全局唯一主键是非常棘手的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。 虽然可通过约束自增主键初始值和步长的方式避免碰撞,但需引入额外的运维规则,使解决方案缺乏完整性和可扩展性。 i...

z785495295的博客 5209

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Mycat\atlas\sharding-jdbc

背景 数据库中间件选型思考 官网上安装、配置信息零散,需要使用者收集整理信息,在理解基础上正确配置,才能保证运行成功。这个工作比较耗时,希望读者看到此博客能快速run起来。 网络博客上也有很多人写Mycat和Atlas,绝大多数是针对Mycat和Atlas读写分离场景配置的。对Atlas,奇虎360在GitHub上开源了2个版本,一个版本为纯代理版,支持分表功能,另一个为Sharding版本。...

tomcatAndOracle的博客 3683

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

生产环境-最佳Mysql中间件Atlas实践

一、对比其他中间件 1.比较Sharding-JDBC Sharding-JDBC只使用于JAVA程序,还需要配置代码。 Atlas与代码解耦,使用于任何语言。 2.比较Mycat与DBLE Mycat与DBLE存在很多BUG,比如不支持子查询,不支持AND、OR括号混用等等。 DBLE之前在生产环境部署了,后来由于各种BUG、各种语法不支持最终放弃改用Atalas。 二、Atlas简介 Atlas是奇虎360团队弄出来的一套基于MySQL-Proxy基础之上的代理,修改了MySQL-Proxy的一些B

潘顾昌的博客 1206

MHA高可用架构与Atlas读写分离

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33962923的博客 309

【数据库分库分表】数据库分库分表技术方案选型(Atlas、Cobar、TDDL、zdal、MyCat、Sharding-jdbc等)

数据库分库分表技术方案选型(Atlas、Cobar、TDDL、zdal、MyCat、Sharding-jdbc等)

weixin_43043173的博客 3446

mysql atlas更新问题_atlas的相关问题

altas简介:Atlas是由Qihoo360,Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy0.8.2版本的基础上,修改了大量bug,添加了很多功能特性altas实现的主要功能:1.读写分离(已验证)2.从库负载均衡(已验证)3.sharding的支持(待验证)4.自动分表(待验证)atlas的自动分表功能(非s...

weixin_34635170的博客 219

atlas mysql 分表,Atlas实现Mysql读写分离

了解Atlas我用Atlas做了什么:1.读写分离2.从库负载均衡3.IP过滤4.DBA可平滑上下线DB5.自动摘除宕机的DB未用的:6.自动分表对于分库分表,以后会做一个Cobar+mha实现的。Atlas实现读写分离rpm -ivh Atlas-sharding_1.0.1-el6.x86_64.rpmvi ~/.bash_profilePATH=$PATH:$HOME/bin:/app_my...

weixin_33785291的博客 138

Atlas读写分离

Atlas读写分离第1章 介绍1.1 企业读写分离机分库分表方案: Mysql-proxy(oracle) Mysql-router(oracle) Atlas (Qihoo 360) Atlas-sharding (Qihoo 360) Cobar(是阿里巴巴(B2B)部门开发) Mycat(基于阿里开源的Cobar产品而研发) T...

weixin_33973600的博客 222

MySQL中间件-Atlas

Atlas是基于MySQL协议的数据中间层,其主要功能: 1、读写分离 2、从库负载均衡 3、IP过滤 4、自动分表 5、自动摘除宕机的DB且可平滑上下线DB Atlas的安装: Atlas只能安装运行在64位的系统上,下载RPM包:Atlas-2.2.1.el6.x86_64.rpm。 [root@localhost ~]# rpm -i Atlas-2.2.1.el6.

让我们荡起双桨的博客 612

mysql 中间件 atlas_mysql中间件atlas的相关问题

altas简介:Atlas是由Qihoo360,Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy0.8.2版本的基础上,修改了大量bug,添加了很多功能特性altas实现的主要功能:1.读写分离(已验证)2.从库负载均衡(已验证)3.sharding的支持(待验证)4.自动分表(待验证)atlas的自动分表功能(非s...

weixin_39863371的博客 123

atlas的相关问题

altas简介:Atlas是由Qihoo360,Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy0.8.2版本的基础上,修改了大量bug,添加了很多功能特性altas实现的主要功能:1.读写分离(已验证)2.从库负载均衡(已验证)3.sharding的支持(待验证)4.自动分表(待验证)atla...

weixin_34010566的博客 146

MHA高可用性和Atlas读写分离

1.1 MHA简介1.1.1 MHA软件介绍  MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在10~30秒之内自动完成数据库的故障切换操作,并...

eagle89的专栏 595
下一篇: linux 6.5下 MySQL 5.6 源码安装
本木生
博客等级 码龄14年 18粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值