DSBase的最初的初衷

本文讲述了一位资源有限的数据科学家如何通过现成的开源工具如HBase、Solr、Hadoop、Hive等,解决大数据难题的故事。通过DSBase这一自创框架的初步实践,作者分享了从问题到解决方案的思考过程,旨在为资源受限的开发者提供借鉴。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我是一个很懒的人,没事不喜欢发文,发文就是遇到问题了。

我又是一个十分乐于分享知识的人,所以我决定把我遇到的问题,把我的思考过程,把我的解决方案写下来,供遇到同样问题的同学参考,一起进步。

我的问题的本质很简单:

数据量很大,想要使用OceanBase,但是用不成

我没有阿里那么牛叉的工程师团队可以开发一个类似OceanBase的XXXBase,我也没有那么多钱来雇佣懂得OceanBase的工程师来支持我的应用场景,所以我只能眼巴巴地看着OceanBase就在前方,却仿佛处在另一个世界,这个世界最遥远的距离不是生死,而是你想要一个东西,但是就是没有钱买

本着吃不到葡萄就说葡萄酸的原则,我觉得阿里也不敢把核心业务迁移到OceanBase上,因为OceanBase也不成熟。

其实整个大数据体系都不成熟,我感觉现在就像关系数据库刚刚出现的时候一样,每家厂商的各类产品都不成熟,需要几十多年慢慢演化。

画外音响起:这是一个烽火的时代,这是一个英雄辈出的时代......

有点偏题了

当你没有技术牛人和巨额资金的时候,你怎么玩大数据这个高帅富的命题?

你只能玩成屌丝样了,用现成的开源,HBase、Solr、Hadoop、Hive,改吧改吧将就用吧。

这就是DSBase的最初初衷,这是我设计的一个屌丝框架,框架目标还很含糊,框架仍在子宫中发育,代码还等待有志之士贡献,不过,它已经诞生了




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值