老骆驼的博客

elasticsearch 中结构化查询对应sql语句，个人理解！！

rabbitmq 入门级别代码

clickhouse 集群安装 3个节点

关联表查询编码问题

clickhouse窗口函数使用之 求玩家前n笔充值

使用MySQL 5.7版本统计 玩家连续登录天数，详细介绍row_number的实现，以及如何实现统计连续登录玩家，小白也能看懂的！

参考了腾迅的大数据分析-计算留存，能够根据用户自定义属性，以及玩家行为进行留存的计算。最初计算留存的方法使用的是clickhosue自带的rentention函数，使用这个函数不用关注太多细节，只需要把留存条件放入函数即可。但是这个如果需要关联用户属性，就比较麻烦了。因此参考了bitmap实现自定义留存。这里先介绍几个bitmap相关的函数。

SQL计算LTV

centos7下docker安装prometheus

统计需求，n天流失玩家

php使用curl查询elasticsearch

es教程2

es入门级简介

项目背景介绍

windows下安装kafka

游戏数据入库

binlog数据清洗

dbeaver连接大数据仓库

es分组查询

游戏中计算留存的方式

为什么选择clickhouse存储

环境虚拟机软件VmWare15.5 Centos7.0安装dockeryum install docker安装成功后，使用 docker --version安装ELK前提条件(真机)1.Docker至少得分配3GB的内存；2.Elasticsearch至少需要单独2G的内存；3.防火墙开放相关端口；如果配置太差了，可以指定使用的配置参数vm.max_map_count至少需要262144下载镜像首先启动dockersystemctl start docker下拉镜像d

MySQL开启binlogshow variables like '%log_bin%';如果为关闭状态，打开my.ini文件 ，添加如下配置[mysqld]#开启bin_log canal伪装为从库监听协议server_id=1log_bin=mysql-binlog_bin-index=master-bin.indexbinlog-format=ROW下载canalgithub比较慢，直接使用下载好的，这里使用的版本是1-4mysql5.7没有user表执行以下语句初始化表u

基础命令查看状态的命令 status查看版本 versionDDL查询所有表 list查询表是否存在 exists 表名创建表 create ‘表名’, ‘列簇1’,‘列簇2’删除表 先禁用(disable)然后删除(drop)DML新增数据 put ‘person’,‘1’,‘base:name’,‘zhansan’put ‘person(表名)’,‘1(row_key)’,‘base(列簇名):name(字段名)’,‘zhansan(字段对应的值)’查

Sqoop简介开源工具，主要在关系型数据库和非关系型数据库之间传递消息，可以将hadoop数据导入关系型数据库(MySQL等)，也可以把关系型数据导入到HDFS中。工作原理和hive类似也是把导入或者导出的命令翻译成M-R程序安装以及配置直接下载1.4.7解压，配置一个Home在path下指定home的bin目录，测试测试连接数据库首先拷贝jdbc连接工具到sqoop的lib目录下sqoop list-databases --connect jdbc:mysql://localhost:

安装这里下载源码并编译到 /app目录下配置Hadoop相关环境变量前提：配置了JAVA_HOME,主机名为hadoop101配置hadoop_homevim /etc/profileexport JAVA_HOME=/app/java/jdk1.8.0_131export PATH=$JAVE_HOME/bin:$PATHexport CCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/libexport HADOOP_HOME=/app/ha

简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。flume优势

Hive是个啥东西Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。说白了就是把HQL转换成Map-Reduce程序运行。来个小小的图示说明下sql–>mapreduce的过程Hive处理的数据是存储在HDFS上的，如下图Hive分析数据底层的实现是MapReduce执行程序运行在Yarn上为啥要使用Hive对于单纯的执行Map-Reduce程序来说，需要话时间去学习，对开发要求比较高。提供类SQL语言开发，基本上学过SQ

简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。工作机制从设计模式上来说是基于发布订阅模式实现的，他负责存储和管理大家都比较关心的数据，然后接受观察者注册，一旦数据数据发生变化，zk就会通知已经在zk上注册的观察者。一句话总结: 文件系统+通知机制ps:一般是集群模式运行，因为zk系统本身也需要达到高可用，也就是我们常说的HA架构，学习阶段可以考虑安装单机版。简述工作机制图:特点zk集群模式也是一个Leader和多个Follower集群中半数以上

介绍Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理