木东的博客

01 HBase简介HBase是一个构建在HDFS之上，用于海量数据存储分布式列存储系统。参见下图，由于在HBase中：表的每行都是按照RowKey的字典序排序存储表的数据是按照RowKey区间进行分割存储成多个region所以HBase主要适用下面这两种常见场景：适用于基于rowkey的单行数据快速随机读写适合基于rowkey前缀的范围扫描02 为什么需要HBse二级索引HBase里面只有rowkey作为一级索引， 如果要对库里的非rowkey字段进行数据检索和查询， 往...

Online Serving 简介从本质而言，在线服务就是提供 (http, rpc) 等接口，用户输入 X, X 经过 pre-process 处理成符合模型输入的参数，经由模型推理后得到 Y，Y 经过 post-process 处理成符合用户认知的数据格式，最后将结果返回。第 2 步和训练中的 evalute/test 相应步骤几乎一样，只是在线推理下的 batch size 往往为 1，远远小于训练过程中的 batch size，故在线推理下的显卡和显存的利用率相对训练更低。1. X =

基于apache hadoop的配置安装安装相关的大数据组件，包括：hadoop 2.6.2 spark 1.6.1 hbase 1.0.0 zookeeper 3.4.10 janusgraph 0.2.0环境变量的配置每台机器上都需要配置如下环境变量export JAVA_HOME=/usr/local/lib/jdk1.8.0_60export HBASE...

java后端技术技术概论：Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+KafKa j2ee分布式架构目前已经对接的互联网公司，金融公司，基金公司，银行等几十家企业，后端主要的技术：服务框架：Dubbo，zookeeper，Rest服务缓存：redis，ehcache消息中间件：ActiveMQ，kafka负责均衡：Nginx分...

恒丰银行于2016年1月完成了传统数据仓库向大数据平台数据仓库的迁移，以新的数据仓库平台为基础，结合行内的通用文件传输平台、统一调度平台，规范了源数据系统的数据报送，梳理构建了新的数据模型，大数据平台解决了传统数仓在批量数据处理能力的不足，在相关任务上体验到了从数小时到十几分钟的提升。大数据平台解决了大数据特征中四个V的大数据量（Volume）的处理，我们还需要引入实时处理技术能覆盖数据多样性...

在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理 和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立 足建立一套汽车状态实时监控系统，可以在阿里云上立即进行部署。 　　一、实时大数据处理利器——Storm和Kaf...

学习是技术人员成长的基础，本次分享20本技术方面的书籍，这些书不是每一本都是经典，但是每一本都有其特点。以下20本大部分本人都看过，因此推荐给大家。（本次推荐的20本只是一个参考，比如像Head First，Java编程思想等经典书籍是大家都知道，因此不在推荐之列）本次分享大纲大型网站架构系列 分布式系统系列 BAT技术文学系列 架构设计系列 本次分享总结一、大型网站架构系列...

在互联网大行其道的今天，各种分布式系统已经司空见惯。搜索引擎、电商网站、微博、微信、O2O平台。。凡是涉及到大规模用户、高并发访问的，无一不是分布式。关于分布式系统，并没有一个标准答案，说某某架构一定是最好的。不同的业务形态所面对的挑战不一样，使用的架构设计也不一样，通常都需要具体业务具体分析。但不管那种业务，不管何种分布式系统，有一些基本的思想还是相通的。本文将对这些基本思想进行一个梳理...

本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。（如果感觉对大家有帮助，请帮忙点推荐，谢谢。本博客会逐步推出一系列的关于大型分布式网站架构，设计模式，架构模式方面的系列文章，交流群：466097527）　　本次分享大纲如下大型网站的...