OLAP与OLAP

OLTP

    单词查询数据量小

    响应快

    在线处理

OLAP

     单词查询数据量大

     查询逻辑复杂(BI 概念： 聚合，上卷，下钻)

     离线处理

基础架构方面：

工具：

    *全文索引

         Elasticsearch     应用于OLTP，没有搜索效率下降问题，但内存开销大，到排序索引查询结构

         Solr       搜索效率随索引建立的增多而下降,不适合OLTP

架构：

OLAP:

    FileSystem + Directory Service + search channel +              logic process                +        publish      +      interface

    HDFS                lucene/ldap               Elastic search          ML,spark,business logic           JMS/Thrift           Rest/webservice

OLTP:

     

Hive:  利用MR来查询数据，返回慢

Impala: 适用于查询数据量超大的OLTP场景

               多层查询树-> 将查询任务分发到子节点; 任务可在多个机器节点并行执行

               列存储-> 嵌套数据的列存储