Mirson - 多一些分享, 多一些进步

网上找了很多资料，但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散，坑很多， 把经验做了整理， 避免趟坑。

'PHYSICAL' memory limit. Current usage: XXX GB of XXX GB physical memory used; XXX GB of XXX GB virtual memory used. Killing container 问题解决方法

一、安装与配置问题总结服务端的安装版本与客户端需要保持一致。（如果是在同一主机，安装服务端后， 会自带客户端。）etc/hosts下的IP与主机名称的映射， 不要存在多个映射，即IP与主机名称保持唯一性。如果IO瓶颈， 要注意dataDir是否配置多个存储路径，且在不同磁盘下面，配置新的目录时需清空原有数据，多个dataDir配置示例：dataDir /data/tdengine/data1 0 1dataDir /data/tdengine/data2 0 0dataDir /d

一、说明Ansible是一款基于Python的自动化运维，用于发布、管理和编排计算机系统的工具、而且可以支持批量系统配置、批量部署运维、批量运行命令等功能。这里以TDEngine的集群部署为例， 讲解如何通过Ansible实现自动化部署。二、Ansible的安装先安装 CentOS 7 的 EPEL repository[root@localhost ~]$ yum install -y epel-release确保yum数据源安装成功。安装ansible[root@localho

一、说明TDengine是按照分布式高可靠架构设计，支持水平扩展，能够有效保障系统的可用性和可靠性，生产环境中一般都是多节点部署，TDengine集群部署需要三个以上节点，如果只部署两个数据节点也是可行， 但需要署Arbitrator节点（为模拟节点，不处理任何数据）。二、集群部署结构部署信息机器IP与端口：10.16.161.186:603010.16.161.187:603010.16.161.188:6030节点类型共有三个数据节点（DNODE），两个管理节点（MN

1. 什么是Table API & SQLTable API& SQL 是一种关系型API，用户可以像操作MySQL数据库表一样的操作数据，而不需要写Java代码完成flink function，更不需要手工的优化Java代码调优。SQL对一个非程序员操作来讲，学习成本很低，如果一个系统提供SQL支持，将很容易被用户接受。总结来说，关系型API的好处：关系型API是声明式的查询能够被有效的优化查询可以高效的执行“Everybody” knows SQLFlink

1. Flink Table API的整体实现流程主要操作流程如下：// 创建表的执行环境val tableEnv = ... // 创建一张表，用于读取数据tableEnv.connect(...).createTemporaryTable("inputTable")// 注册一张表，用于把计算结果输出tableEnv.connect(...).createTemporaryTable("outputTable")// 通过 Table

1. Flink Connectors 介绍Flink 连接器包含数据源输入与汇聚输出两部分。Flink自身内置了一些基础的连接器，数据源输入包含文件、目录、Socket以及 支持从collections 和 iterators 中读取数据；汇聚输出支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。官方地址Flink还可以支持扩展的连接器，能够与第三方系统进行交互。目前支持以下系统:Apache Kafka (source/sink)Apache Cas

1. 自定义序列化接入方案（Protobuf）在实际应用场景中， 会存在各种复杂传输对象，同时要求较高的传输处理性能， 这就需要采用自定义的序列化方式做相应实现， 这里以Protobuf为例做讲解。功能： kafka对同一Topic的生产与消费，采用Protobuf做序列化与反序列化传输， 验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax = "proto3";option java_package = "com.itcast.flink.

1. Flink大数据实时处理设计方案整套方案通过Canal + Kafka 连接器 + Protobuf，实现数据的同步接入， 由Flink服务负责对各类业务数据的实时统计处理。2. 热销商品的统计处理功能实现对热销商品的统计， 统计周期为一天， 每3秒刷新一次数据。核心代码 主逻辑实现： /** * 执行Flink任务处理 * @throws Exception */ private void executeFlinkTask() thr

1. 订单支付状态跟踪统计（CEP运用）功能实现对热销商品的统计， 统计周期为一天， 每3秒刷新一次数据。核心代码 主逻辑代码实现： /** * 执行Flink任务处理 * @throws Exception */ private void executeFlinkTask() throws Exception { // 1. 创建运行环境 StreamExecutionEnvironment env = Str