卡布奇诺加点冰-优快云博客

原创 Apache Kafka 学习之旅

基础知识准备 Kafka——性能逆天的存在 Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念 kafka分区及副本在broker的分配如何为Kafka集群选择合适的Partitions数量最佳实践 & 性能调优 Apache Kafka：优化部署的 10 种最佳实践 Kafka 如何做到...

2018-10-17 16:52:18 597

多看官网！https://www.elastic.co/ 下载你需要的组件：https://www.elastic.co/downloads 有必要先了解下 ElasticSearch 的基本概念：https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html#_basic_concep...

2018-09-13 10:59:54 402

原创检查 kafka 集群 Isr 信息

#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/84589660 #检查 kafka 集群 Isr 信息 #用法简介 function print_usage(){ echo -e "\e[1;31mIncorrect parameter input. Please reenter! \e[0m...

2018-11-28 18:03:32 1148

原创 check_cbss_kafka.sh

#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/84586824 #前置条件： #1.${ip} 中存放 brokers 和 zookeepers 的 IP 信息 #2.这台机器与以上所有机器配置了 ssh 免密 #用法简介 function print_usage(){ echo -e "\e...

2018-11-28 16:41:56 332

原创 Kibana控制台语法

<REST Verb> /<Index>/<Type>/<ID> <REST动词> / <索引> / <类型> / <ID> #检查群集运行状况 GET /_cat/health?v #获得群集中的节点列表 GET /_cat/nodes?v #列出所有索引 GET /_cat/

2018-09-13 11:38:26 3644

原创 shell窗口运行curl命令执行DSL查询语句

#检查群集运行状况 curl -X GET "localhost:9200/_cat/health?v" #获得群集中的节点列表 curl -X GET "localhost:9200/_cat/nodes?v" #列出所有索引 curl -X GET "localhost:9200/_cat/indices?v" #创建索引并查看 curl -X PUT "localhost:9200/...

2018-09-13 11:33:28 1269

原创自动化安装ElasticSearch脚本

#auto_install_elasticsearch.sh #################################################### #请务必检查以下变量是否需要改动！尤其是第一次运行该脚本时 install_dir=/data1/bug packages_dir=/data1/bug/packages elasticsearch_version=6.4.0 ...

2018-09-13 11:19:35 812

原创自动化添加ELK监控脚本

#auto_add_elk.sh 根据给定参数自动添加ELK监控，Kibana仪表盘需要重新画！ #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/82257251 #用法简介 function print_usage(){ echo -e "\e[1;31mThe number of param...

2018-09-06 09:32:57 721

原创品一品那些nb的正则 patterns

USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+ EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME} INT (?:[+-]?(?:[0-9]+)) BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]...

2018-08-03 18:07:37 266

原创 Logstash 采集数据输出到 ElasticSearch

参考网址：Logstash grok 正则表达式例子查看grok patterns less -N ${LOGSTASH_HOME}/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns 品一品那些nb的正则 patterns grok 正则表达式库是Oniguruma：On...

2018-08-03 18:01:37 811

原创摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板

#${logstash_dir}/config/job_history.conf.template #摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板 input { file { path => "${logstash_input_file}" } } filter {...

2018-08-03 17:45:32 609

原创爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板

#${cluster_dir}/job_history.sh.template #爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81391319 #脚本模板中涉及需要被替换的...

2018-08-03 17:16:05 782

原创摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板

#${logstash_dir}/config/dfs_health.sh.template #摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板 input { file { path => "${logstash_input_file}" } } filter { grok { m...

2018-08-01 16:58:31 1051

原创爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板

#${cluster_dir}/dfs_health.sh.template #爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81333227 #脚本模板中涉及需要被替换的变量 #URL=${URL...

2018-08-01 16:31:03 1422

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_running.conf.template #摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板 input { file { path => "${logstash_input_file}" } ...

2018-07-31 17:55:41 527

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据脚本模板

#${cluster_dir}/apps_running.sh.template #爬取 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81317799 #脚本模...

2018-07-31 17:50:56 1618

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_pending.conf.template #摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板 input { file { path => "${logstash_input_file}" }...

2018-07-31 17:45:56 848

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据脚本模板

#${cluster_dir}/apps_pending.sh.template #爬取 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81317447 #脚本...

2018-07-31 17:34:18 776

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板

#${logstash_dir}/config/cluster_scheduler.conf.template #摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板 input { file { path => "${logstash_input_file}" ...

2018-07-31 16:14:34 356

原创爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板

#${cluster_dir}/cluster_scheduler.sh.template #爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81299060 #脚...

2018-07-31 11:27:41 823

原创 Linux 爬虫之数据从哪儿来？

所见即所得，万物皆可爬爬虫与反爬虫的博弈 Focus on the value of data！参考网址：利用 Linux curl 爬取网站数据爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板： https://blog.youkuaiyun.com/qq_16592497/article/details...

2018-07-30 15:33:52 379

卡布奇诺加点冰