嘿！没错，我是李先生

https://www.bilibili.com/video/BV1HT4y1Z7vR?p=2&spm_id_from=pageDriver

Prometheus，Grafana

思想Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。清理策略针对的是过期的segment文件，而不是某条过期的数据。可以单独针对某topic配置，也可针对kafka集群配置（config/server.properties）。策略分三种：基于时间，基于日志文件大小，基于日志文件起始偏移量。为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照

linux中root用户启动ES报错。添加用户组和用户elasticsearch，并更改es安装目录属于elasticsearchroot@LIBING:/usr/local/program/elasticsearch/default/bin# ./elasticsearch[2019-12-03T02:23:31,189][WARN ][o.e.b.ElasticsearchUncaught...

2 运行elasticsearch时，出现警告OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.修改jvm.options文件配置，将 -XX:+UseConcMark...

# 开启nohup ./elasticsearch &nohup ./kibana &# 关闭root@LBING:~# ps -ef | grep elasticroot 15925 15568 0 03:35 pts/0 00:00:00 su elasticsearchelastic+ 15926 15925 0 03:35 pts/0 0...

浏览器控制台报错：Access to XMLHttpRequest at 'http://localhost:9200/_cluster/health' from origin 'http://localhost:9100' has been blocked by CORS policy: Request header field content-type is not allowed by A...

每个进程同时可以打开的文件数太少，可通过ulimit -Hn或ulimit -Sn查看root@LIBING:/usr/local/program# ulimit -Sn65535#ulimit参考https://mp.youkuaiyun.com/mdeditor/103359883

hive伪分布式搭建:假定已经安装jdk和hadoop，以centos 7，jdk1.8，hadoop 2.8.5为例，用户为root，搭建hive 2.3.5的环境。ip名称主从进程192.168.0.111node1主namenode192.168.0.112node2从Secondary namenode,datanode192.168.0...

为什么要给小文件archive未完成。。。。commond：hadoop archive -123.har name -p [-r ] * 将一个目录作为整个进行archivehadoop archive -archiveName 123.har -p /test/archive -r 3 /test/Unarchive按顺序unarchivehdfs dfs -cp har:/...

kafka–>logstach–>elasticsearch–>kibanakafka：接收多种数据源产生的loglogstach：做日志处理，日志分析，统一成json串，推给eses：实时数据存储服务，通过index组织数据，兼容强大的搜索和统计功能kibana：数据可视化工作也可以从nginx获取log记录。...

搜索引擎应用：存储，索引快速查找增量数据存储：增量监控数据，增量用户交互数据，增量遥感数据，增量广告点击数据。用户内容服务：内容推荐引擎系统，用户模型服务（经过hbase处理过的内容并非直接作用于用户，可用来丰富与用户的交互，并不断产生新的数据来优化）。实时消息系统构建：处理数据如facebook，处理较小的临时数据集，是经常变化的。处理不断增加的数据集，是很少被访问的。参考：《HBase...