一个人的人生

1、K8s架构速览Kubernetes+是一个开源的容器编排引擎，用来对容器化应用进行自动化部署、扩缩和管理。2、整体部署流程说明（1）创建多台虚拟机，安装Linux操作系统；（2）操作系统初始化；（3）为etcd何apiserver创建自签证书；（4）部署etcd集群；（5）部署master组件；（6）部署node组件；（7）部署集群网络插件；3、 环境准备（1）安装要求一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；硬件配置：2GB或者更多RAM，2

我们都知道，MinIO 是一个基于Apache License v2.0开源协议的对象存储服务文件系统。它基于云原生文件系统生态，兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据。例如：视频、图片、数据文件、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，文件大小从几kb到最大5T不等。本节将说明如何将大文件续传到minio文件服务器。putObject(String bucketName, String objectName, InputStream stream,

众所周知，Elasticsearch作为搜索引擎被广泛应用在各个领域，尤其是电子商务网站和App的检索，如下几乎囊括的商城大部分搜索使用场景查询定义，而索引时Elasticsearch搜索核心概念之一，Elasticsearch底层使用倒排索引对分词进行映射，默认使用大数据常用的相似推荐算法(TF-IDF)进行评分，既实现文档高效检索，又完成文档排序。在上一篇构建搜索系统之查询-实战基础上，本章将说明如何定义索引，并实现完整检索客户端。1.索引定义下面以实战商品搜索为例，说明复杂的商品索引定义，常用关键

我们都知道，Elasticsearch作为搜索引擎被广泛应用在各个领域，尤其是电子商务商城检索，如下几乎囊括的商城大部分搜索使用场景查询定义，其中包括：基本查询：简单的查询方式terms：目标列包含指定词(不分词)match：会把输入的“短语”进行分解成分词，分词器可自定义bool match：match分解成多个词，并且是and的关系，默认是or的关系match phrase：进行分词，但要指定分词之间词语的个数match phrase prefix：进行分词，分词按前缀匹配multi-m

过去，在Cassandra中批量加载数据一直很困难。尽管Cassandra从一开始就具有BinaryMemtable接口，但是BinaryMemtable难以使用，并且与普通客户端写入相比，吞吐量有了较小的提高。Cassandra 0.8.1引入了解决此问题的新工具: sstableloader使用 sstableloader有关最新信息，请参见 DataStax社区文档。sstableloader 是一种稳定的数据文件处理工具，将已经生成好的数据流式传输到整个群集。它不是简单地将sstables复

Alluxio 是大数据领域数据内存加速利器，是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建提供了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而使得数据能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。在现有大数据生态系统中，Alluxio 位于数据驱动框架或应用（如 Apache Spark、Presto、Tensorflow、A

商城埋点数据，即客户在商城的购买行为的各种浏览数据，是对客户购买行为分析的重要资产。在大数据领域，可以通过收集客户行为数据，分析客户行为规律，进而指导商城各种营销活动制定。例如淘宝和京东展示的各种维度分析报表，可展现客户购买偏好，浏览商品偏好，地域性偏好等；另一个重要应用便是商城“商品推荐”，商城商品推荐便时对客户浏览和购买行为综合分析的结果，在亚马逊“商品推荐”能为企业商城来带40%左右的营收。基于此，对客户行为数据保存就显得至关重要。流程图1、通过kafka实时接收商城端行为(埋点)数据；2、通

Cassandra特点因Cassandra采用了许多容错机制。由于Cassandra是无主的，类似区块链去中心化设计，所以不存在单点故障。可以做到在不停机情况下滚动升级。这是因为Cassandra可以支持多个节点的临时失效（取决于群集大小），对整个群集的性能影响可以忽略不计。Cassandra提供LOCAL和REMOTE模式，支持多地域容灾。Cassandra允许您将数据复制到其他数据中心，并在多个地域保留多副本。除了作为强大的灾难恢复和业务连续性保障之外，这有助于满足许多监管，离线分析等要求。Cas

方法

Elasticsearch作为商城核心框架，主要应用在商城搜索、商品搜索、订单搜索、店铺搜索等搜索场景，起到支撑核心业务的重要作用。下面以为Elasticsearch 6.x为例搭建一套完整的搜索引擎。系统参数配置（1）打开/etc/security/limits.conf，在文件末尾，修改对应参数soft nofile 65536, 可以适当增大到2倍；hard nofile 65536, 可以适当增大到2倍；（2）配置虚拟内存大小打开/etc/sysctl.conf在文件最后添加一行

此处将以Alibaba canal([https://github.com/alibaba/canal])为例，说明Canal的使用，Canal作为数据库数据异步实时同步利器，为分库分表条件下数据一致性维护启到重要作用。流程图Canal可以实时异步监听多Master数据库数据变化，并异步将数据同步到给其他应用，这些应用不仅可以使ES集群，也可以是其他相关应用。配置以canal 1.1.4版本为例，支持mysql最新版本8.x，解压后分别配置如下配置canal.properties文件：（1）c