Lysine介绍(六)存储服务

上一篇:[url=http://yeaha.iteye.com/blog/734055]Lysine介绍(五)MVC - View[/url]

进入Model环节之前先介绍一下Lysine对各式存储服务的管理
最常见的存储方式就是关系式数据库了,除此之外还有MongoDB等等新型数据库,这些数据库都提供持久化存储服务
缓存服务其实也是存储服务,比如Memcached,缓存是非持久化存储服务
在Lysine里面,无论常见的关系式数据库,新型的NOSQL数据库,Memcached缓存服务,都统统等同看做存储服务,统一管理


<?php
require '/path/to/lysine/core.php';

$config = array(
'storage' => array(
'pool' => array(
'mdb' => array(
'class' => 'Lysine\Storage\Mongo',
'server' => '127.0.0.1'
),
'pgdb' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=test',
'user' => 'dev',
'pass' => 'abc'
),
'mydb' => array(
'class' => 'Lysine\Storage\DB\Adapter\Mysql',
'dsn' => 'mysql:host=127.0.0.1 dbname=test',
'user' => 'dev',
'pass' => 'abc',
'options' => array(
\PDO::ATTR_EMULATE_PREPARES => true
),
),
'my_cache' => array(
'class' => 'Lysine\Storage\Cache\Memcached',
'life_time' => 3600,
'server' => array('127.0.0.1', 11211),
),
),
),
);

Lysine\Config::import($config);
$pool = Lysine\Storage\Pool::instance();

// 对mongodb的连接实例
$mongo_connect = $pool->get('mdb');
// 对mysql的连接实例
$mysql_connect = $pool->get('mydb');
// 对pgsql的连接实例,通过__invoke()魔法方法
$pgsql_connect = $pool('pgdb');
// 对memcached的连接实例,使用预定义函数
$my_cache = storage('my_cache');


Lysine\Storage\Pool类的作用就是管理所有的存储服务,根据名字获得对应的实例

所有的Storage类都继承自Lysine\IStorage接口,这个接口保证所有的Storage子类的构造函数都使用数组风格,然后Pool才能够统一根据数组配置信息实例化类,也就是说,如果要想把自己开发的storage类放到Pool里面管理,也必须继承IStorage接口

除了根据名字拿到对应的连接之外,Pool还提供了自定义路由的方法
假设需要把用户数据水平切分到三台数据库内,用最简单的用id值对3取余数的方式切分


<?php
require '/path/to/lysine/core.php';

$config = array(
'storage' => array(
'pool' => array(
'user0' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=192.168.1.2 dbname=users',
'user' => 'dev',
'pass' => 'abc',
),
'user1' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=192.168.1.3 dbname=users',
'user' => 'dev',
'pass' => 'abc',
),
'user2' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=192.168.1.4 dbname=users',
'user' => 'dev',
'pass' => 'abc',
),
),
),
);

Lysine\Config::import($config);

$pool = Lysine\Storage\Pool::instance();
$pool->setDispatcher('user', function($id) {
return 'user'. ($id % 3);
});

// user1
$db = $pool->get('user', 1);
// user2
$db = $pool->get('user', 2);
// user0
$db = $pool->get('user', 3);


使用Pool setDispatcher()方法,你可以设定自己的路由方式,根据不同的参数连接不同的数据库

再来一个复杂点的,使用一致性哈希算法切分

<?php
// 一个一致性hash实现 http://github.com/pda/flexihash
require_once '/path/to/flexihash/include/init.php';
require_once '/path/to/lysine/core.php';

use Lysine\Config;

$config = array(
'storage' => array(
'pool' => array(
'user1' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=users1',
'user' => 'dev',
'pass' => 'abc',
),
'user2' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=users2',
'user' => 'dev',
'pass' => 'abc',
),
'user3' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=users3',
'user' => 'dev',
'pass' => 'abc',
),
'user4' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=users4',
'user' => 'dev',
'pass' => 'abc',
),
'user5' => array(
'class' => 'Lysine\Storage\DB\Adapter\Pgsql',
'dsn' => 'pgsql:host=127.0.0.1 dbname=users5',
'user' => 'dev',
'pass' => 'abc',
),
'topic1' => array(
'class' => 'Lysine\Storage\DB\Adapter\Mysql',
'dsn' => 'mysql:host=127.0.0.1 dbname=topic1',
'user' => 'dev',
'pass' => 'abc',
),
'topic2' => array(
'class' => 'Lysine\Storage\DB\Adapter\Mysql',
'dsn' => 'mysql:host=127.0.0.1 dbname=topic2',
'user' => 'dev',
'pass' => 'abc',
),
'topic3' => array(
'class' => 'Lysine\Storage\DB\Adapter\Mysql',
'dsn' => 'mysql:host=127.0.0.1 dbname=topic3',
'user' => 'dev',
'pass' => 'abc',
),
),
),
);

Config::import($config);

$user_hash = new Flexihash();
$topic_hash = new Flexihash();
foreach (Config::get('storage', 'pool') as $node_name) {
if (substr($node_name, 0, 4) == 'user') {
$user_hash->addTarget($node_name);
} elseif (substr($node_name, 0, 5) == 'topic') {
$topic_hash->addTarget($node_name);
}
}

$pool = Lysine\Storage\Pool::instance();

// user数据以id来分区
$pool->setDispatcher('user', array($user_hash, 'lookup'));
// 或者
$pool->setDispatcher('user', function($user_id) use ($user_hash) {
return $user_hash->lookup($user_id);
});

// topic数据以user id来分区
$pool->setDispatcher('topic', array($topichash, 'lookup'));
// 或者
$pool->setDispatcher('topic', function($user_id) use ($topic_hash) {
return $topic_hash->lookup($user_id);
});


Pool除了可以方便的获得存储服务连接之外,还有两个目的:
[list]
[*]数据的垂直切分机制,通过名字获得对应连接
[*]数据的水平切分机制,通过路由获得对应连接
[/list]
接下来会介绍内置的两种ORM封装:ActiveRecord和DataMapper,它们都内置了垂直切分机制
内容概要:文章详细介绍了ETL工程师这一职业,解释了ETL(Extract-Transform-Load)的概念及其在数据处理中的重要性。ETL工程师负责将分散、不统一的数据整合为有价值的信息,支持企业的决策分析。日常工作包括数据整合、存储管理、挖掘设计支持和多维分析展现。文中强调了ETL工程师所需的核心技能,如数据库知识、ETL工具使用、编程能力、业务理解能力和问题解决能力。此外,还盘点了常见的ETL工具,包括开源工具如Kettle、XXL-JOB、Oozie、Azkaban和海豚调度,以及企业级工具如TASKCTL和Moia Comtrol。最后,文章探讨了ETL工程师的职业发展路径,从初级到高级的技术晋升,以及向大数据工程师或数据产品经理的横向发展,并提供了学习资源和求职技巧。 适合人群:对数据处理感兴趣,尤其是希望从事数据工程领域的人士,如数据分析师、数据科学家、软件工程师等。 使用场景及目标:①了解ETL工程师的职责和技能要求;②选择适合自己的ETL工具;③规划ETL工程师的职业发展路径;④获取相关的学习资源和求职建议。 其他说明:随着大数据技术的发展和企业数字化转型的加速,ETL工程师的需求不断增加,尤其是在金融、零售、制造、人工智能、物联网和区块链等领域。数据隐私保护法规的完善也使得ETL工程师在数据安全和合规处理方面的作用更加重要。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值