DSBase要解决的问题

最新推荐文章于 2025-08-06 16:23:50 发布
最新推荐文章于 2025-08-06 16:23:50 发布
阅读量954 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据使用 文章标签： 大数据 DSBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kentkong1/article/details/37727495

有一天，有个人说：

有一个电商系统，每天都会生成2百万条交易，目前靠Oracle支撑，性能还算可以，如果有钱的前提下，估计还能支撑个几年；但很不幸，所有电商应用系统的业务目标几乎都是是力图赶超全球第一牛逼的电商，所以呢，以Oracle为基石的它死定了。

然后他问我：如果是你，你怎么办？

我哈哈一笑，活该，谁让它用Oracle

实际上问题很简单，就是普通的CRUD，问题不简单，就是数据量太大了

HBase是目前唯一不要钱的，口碑还算可以的解决方案了，看起来前途也很光明，不过呢，它有两个问题很无聊：

1. 事务性那是极其弱

2. 查询那是极其弱

人家说了，CAP不能同时支持

唉，话虽然这么讲，俺们也要努力去尝试一下给HBase打个补丁

所以屌丝贝斯（DSBase）要解决的问题是：

1. 增强HBase的事务性

2. 增强HBase的查询

3. 让屌丝都能知道怎么做


我只提供思路，不要指望我提供代码实现，我指望有志之士提供代码实现

思路还在酝酿中，等我1个月酝酿成熟



关于 Mac 系统 .DS_store 文件的起源
阿然的专栏
07-06 887
如果你是 Mac 用户，那么可能对 .DS_Store 文件并不陌生。但这个名字是怎么来的呢？
Percolator，谷歌如何实现大数据的事务
带墨镜的番茄哥的专栏
07-17 1595
之前我给自己提了一个巨大的命题：海量数据实时CRUD
389-ds-base-1.3.6.1-28.el7_4.x86_64.rpm
06-17
389-ds-base-1.3.6.1-28.el7_4.x86_64.rpm 389-ds-base-1.3.6.1-28.el7_4.x86_64.rpm
DSBase的最初的初衷
带墨镜的番茄哥的专栏
07-12 973
我是一个很懒的人，没事不喜欢发文，
base.js文件
Love-Coding
11-21 1086
// 解决IE6不缓存背景图片问题 if(!window.XMLHttpRequest) {  document.execCommand("BackgroundImageCache", false, true); } // 添加收藏夹 function addFavorite(url, title) {  if (document.all) {   window.external.a
Javascript之base.js原型那些事儿
郭蕾蕾 努力的包子
07-26 6141
转眼间我们已经学习了基本的JavaScript的基本知识，具体的我会在后面的博客中会有总结，这里我在做后面第34章的项目的时候我们是在逐步地完善一个JS文件就是base.js，我们可以看出来我们使用的一些方法进行了封装，在这里我们就不得不说一下原型了，前段时间跟李芬姐谈论原型与面向对象的时候，我们就讨论过关于原型的优点而在这个文件（我们可以看成一个类）就是使用原型的方法。         原型就
2-段寄存器
进击的小学生
09-14 7206
从 ds 说起 段寄存器 段寄存器有96位 段寄存器数据来源从 ds 说起如果你稍稍懂一点汇编，当你执行下面这行代码的时候，它会把 32 位整数 5 写入到地址 0x0012f000 这个位置处。dword 就表示这是一个 double word 宽度的数，一个 word 是 16 bit.mov dword ptr ds:[0x0012f000], 5不要惊讶，不要因为不懂汇编而苦恼，接触多了，就
海量数据实时使用面对的问题和想法
带墨镜的番茄哥的专栏
07-16 602
最初起源于一个业务系统，
Database-doc 数据库文档展示工具
zhangxin09的专栏
12-17 1340
数据库文档展示工具（database doc），又叫数据库注释浏览工具，是一个简单的数据库展示各个字段注释的开源工具。在日常开发工作中，您有否这样的体验？
import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline import tensorflow as tf import random from cv2 import resize from glob import glob import warnings warnings.filterwarnings("ignore")img_height = 244 img_width = 244 train_ds = tf.keras.utils.image_dataset_from_directory( 'D:/Faulty_solar_panel', validation_split=0.2, subset='training', image_size=(img_height, img_width), batch_size=32, seed=42, shuffle=True) val_ds = tf.keras.utils.image_dataset_from_directory( 'D:/Faulty_solar_panel', validation_split=0.2, subset='validation', image_size=(img_height, img_width), batch_size=32, seed=42, shuffle=True)class_names = train_ds.class_names print(class_names) train_dsbase_model = tf.keras.applications.VGG16( include_top=False, weights='imagenet', input_shape=(img_height, img_width, 3) ) base_model.trainable = False inputs = tf.keras.Input(shape=(img_height, img_width, 3)) x = tf.keras.applications.vgg16.preprocess_input(inputs) x = base_model(x, training=False) x = tf.keras.layers.GlobalAveragePooling2D()(x) x = tf.keras.layers.Dropout(0.3)(x) outputs = tf.keras.layers.Dense(90)(x) model = tf.keras.Model(inputs, outputs) model.summary()model.compile(optimizer=tf.keras.optimizers.Adam(0.001), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])epoch = 15 model.fit(train_ds, validation_data=val_ds, epochs=epoch, callbacks = [ tf.keras.callbacks.EarlyStopping( monitor="val_loss", min_delta=1e-2, patience=3, verbose=1, restore_best_weights=True ) ] )# fine tuning base_model.trainable = True for layer in base_model.layers[:14]: layer.trainable = False model.summary()model.compile(optimizer=tf.keras.optimizers.Adam(0.0001), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])epoch = 15 history = model.fit(train_ds, validation_data=val_ds, epochs=epoch, callbacks = [ tf.keras.callbacks.EarlyStopping( monitor="val_loss", min_delta=1e-2, patience=3, verbose=1, ) ] )改进代码，使用更好的模型
03-30
然后，数据预处理部分，用户用了VGG16的预处理，如果换模型，预处理函数也要换。比如ResNet用applications.resnet.preprocess_input，EfficientNet用对应的预处理。这点需要注意，否则会影响模型表现。 数据增强...
关于如何建立一个MPEG4的网络视频传输系统.rar_C# 视频传输_gsm610_site:www.pudn.com_视频传输
09-21
标题中的“关于如何建立一个MPEG4的网络视频...此外，还需要了解如何优化性能，处理网络延迟和丢包问题，以及如何实现音频和视频的同步。对于DSBase.dll的具体功能和使用，可以通过阅读提供的用户开发手册来深入了解。
BaseDs:BaseD仅包含资源
03-25
BaseDs:BaseD仅包含资源
将 pandas 导入为 PD 将 numpy 导入为 NP 将 Seaborn 导入为 SNS 将 matplotlib.pyplot 导入为 PLT %matplotlib 内联 将 TensorFlow 导入为 TF 导入随机 从 cv2 import 调整大小 from glob import glob 导入警告 warnings.filterwarnings（“ignore”）img_height = 244 img_width = 244 train_ds = tf.keras.utils.image_dataset_from_directory（ 'D：/Faulty_solar_panel'， validation_split=0.2， subset='training'， image_size=（img_height， img_width）， batch_size=32， seed=42， shuffle=True） val_ds = tf.keras.utils.image_dataset_from_directory（ 'D：/Faulty_solar_panel'， validation_split=0.2， subset='validation'， image_size=（img_height， img_width）， batch_size=32， seed=42， shuffle=True）class_names = train_ds.class_names 打印（class_names） train_dsbase_model = tf.keras.applications.VGG16（ include_top=False、 weights='imagenet'， input_shape=（img_height、img_width、3） ) base_model.trainable = False inputs = tf.keras.Input（shape=（img_height， img_width， 3）） x = tf.keras.applications.vgg16.preprocess_input（输入） x = base_model（x， training=False） x = tf.keras.layers.GlobalAveragePooling2D（）（x） x = tf.keras.layers.Dropout（0.3）（x） 输出 = tf.keras.layers.Dense（90）（x） 模型 = tf.keras.Model（输入，输出） model.summary（）model.compile（optimizer=tf.keras.optimizers.Adam（0.001）， loss=tf.keras.losses.SparseCategoricalCrossentropy（from_logits=True）， metrics=['accuracy']）epoch = 15 model.fit（train_ds， validation_data=val_ds， epochs=纪元， 回调 = [ tf.keras.callbacks.EarlyStopping（ monitor=“val_loss”， min_delta=1e-2， 耐心 = 3， verbose=1， restore_best_weights=真 ) ] ）# 微调 base_model.trainable = 真 对于 base_model.layers[：14] 中的 layer： layer.trainable = 假 model.summary（）model.compile（optimizer=tf.keras.optimizers.Adam（0.0001）， loss=tf.keras.losses.SparseCategoricalCrossentropy（from_logits=True）， metrics=['accuracy']）epoch = 15 历史 = model.fit（train_ds， validation_data=val_ds， epochs=epoch， 回调 = [ tf.keras.callbacks.EarlyStopping（ monitor=“val_loss”， min_delta=1e-2， 耐心 = 3， verbose=1， ) ] ) get_ac = history.history['准确性'] get_los = history.history['损失'] val_acc = history.history['val_accuracy'] val_loss = history.history['val_loss'] 纪元 = 范围（len（get_ac）） plt.plot（epochs， get_ac， 'g'， label='训练数据的准确性'） plt.plot（epochs， get_los， 'r'， label='训练数据丢失'） plt.title（'训练数据准确性和损失'） plt.legend（loc=0） plt.figure（） plt.plot（epochs， get_ac， 'g'， label='训练数据的准确性'） plt.plot（epochs， val_acc， 'r'， label='验证数据的准确性'） plt.title（'训练和验证准确性'） plt.legend（loc=0） plt.figure（） plt.plot（epochs， get_los， 'g'， label='训练数据丢失'） plt.plot（纪元， val_loss， 'r'， label='验证数据丢失'） plt.title（'训练和验证损失'） plt.legend（loc=0） plt.figure（） plt.show（）把这段代码使用的模型改为mobilenet模型并提升精度，给出修改后的完整代码
03-31
首先，我要仔细看一下用户提供的代码，了解当前的结构和流程。 用户导入了一些库，比如pandas、numpy、Seaborn、matplotlib，还有TensorFlow。不过用户用了中文别名，比如将pandas导入为PD，这可能有问题，因为在...
DSPACE模拟简单事故现场
qq_42582489的博客
04-22 1465
DSPACE模拟简单事故现场 文章目录DSPACE模拟简单事故现场1.新建文件2.编辑Road2.1新建道路2.2修改车道2.3设置Route3.编辑scenario3.1加载Road3.2配置主车3.3配置从车4.项目运行 我们使用DSPACE仿真平台来模拟简单的事故现场，现场大致如下，道路呈现一个T字形。 1.新建文件 打开DSPACE平台的三个仿真软件：ModelDesk、ControlDesk、MotionDesk。 按照之前的流程，三个软件连接到同一个项目。 在ModelDesk的左侧Proje
Haeinsa，韩国人如何实现HBase的事务
带墨镜的番茄哥的专栏
07-18 2093
这两天，在研究了Percolator之后，我又找到了一个hanguor
HIVE权限控制
带墨镜的番茄哥的专栏
08-06 746
昨天数据中心的兄弟发现HIVE中一张重要的表
需求EAV模型的优化与思考
最新发布
HAN_789的博客
08-06 515
针对EAV（Entity-Attribute-Value）存储模型及Elasticsearch集成需求，以下是详细方案设计和实现建议。
Java中的RabbitMQ完全指南
H1658554092的博客
07-31 1104
Java中的RabbitMQ完全指南
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值