卡布奇诺加点冰-优快云博客

原创 Apache Kafka 学习之旅

基础知识准备Kafka——性能逆天的存在Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念kafka分区及副本在broker的分配如何为Kafka集群选择合适的Partitions数量最佳实践 & 性能调优Apache Kafka：优化部署的 10 种最佳实践Kafka 如何做到...

2018-10-17 16:52:18 563

原创 Elastic Stack 学习之旅

多看官网！https://www.elastic.co/下载你需要的组件：https://www.elastic.co/downloads有必要先了解下 ElasticSearch 的基本概念：https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html#_basic_concep...

2018-09-13 10:59:54 349

#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/84589660#检查 kafka 集群 Isr 信息#用法简介function print_usage(){ echo -e "\e[1;31mIncorrect parameter input. Please reenter! \e[0m...

2018-11-28 18:03:32 1065

原创 check_cbss_kafka.sh

#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/84586824#前置条件：#1.${ip} 中存放 brokers 和 zookeepers 的 IP 信息#2.这台机器与以上所有机器配置了 ssh 免密#用法简介function print_usage(){ echo -e "\e...

2018-11-28 16:41:56 279

原创 Kibana控制台语法

<REST Verb> /<Index>/<Type>/<ID><REST动词> / <索引> / <类型> / <ID>#检查群集运行状况GET /_cat/health?v#获得群集中的节点列表GET /_cat/nodes?v#列出所有索引GET /_cat/

2018-09-13 11:38:26 3574

原创 shell窗口运行curl命令执行DSL查询语句

#检查群集运行状况curl -X GET "localhost:9200/_cat/health?v"#获得群集中的节点列表curl -X GET "localhost:9200/_cat/nodes?v"#列出所有索引curl -X GET "localhost:9200/_cat/indices?v"#创建索引并查看curl -X PUT "localhost:9200/...

2018-09-13 11:33:28 1210

原创自动化安装ElasticSearch脚本

#auto_install_elasticsearch.sh#####################################################请务必检查以下变量是否需要改动！尤其是第一次运行该脚本时install_dir=/data1/bugpackages_dir=/data1/bug/packageselasticsearch_version=6.4.0...

2018-09-13 11:19:35 751

原创自动化添加ELK监控脚本

#auto_add_elk.sh 根据给定参数自动添加ELK监控，Kibana仪表盘需要重新画！#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/82257251#用法简介function print_usage(){ echo -e "\e[1;31mThe number of param...

2018-09-06 09:32:57 673

原创品一品那些nb的正则 patterns

USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]...

2018-08-03 18:07:37 228

原创 Logstash 采集数据输出到 ElasticSearch

参考网址：Logstash grok 正则表达式例子查看grok patternsless -N ${LOGSTASH_HOME}/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns品一品那些nb的正则 patternsgrok 正则表达式库是Oniguruma：On...

2018-08-03 18:01:37 769

原创摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板

#${logstash_dir}/config/job_history.conf.template#摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }}filter {...

2018-08-03 17:45:32 556

原创爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板

#${cluster_dir}/job_history.sh.template#爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81391319#脚本模板中涉及需要被替换的...

2018-08-03 17:16:05 721

原创摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板

#${logstash_dir}/config/dfs_health.sh.template#摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }}filter { grok { m...

2018-08-01 16:58:31 993

原创爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板

#${cluster_dir}/dfs_health.sh.template#爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81333227#脚本模板中涉及需要被替换的变量#URL=${URL...

2018-08-01 16:31:03 1370

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_running.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }...

2018-07-31 17:55:41 495

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据脚本模板

#${cluster_dir}/apps_running.sh.template#爬取 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据脚本模板#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81317799#脚本模...

2018-07-31 17:50:56 1557

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_pending.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }...

2018-07-31 17:45:56 807

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据脚本模板

#${cluster_dir}/apps_pending.sh.template#爬取 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据脚本模板#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81317447#脚本...

2018-07-31 17:34:18 717

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板

#${logstash_dir}/config/cluster_scheduler.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" ...

2018-07-31 16:14:34 322

原创爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板

#${cluster_dir}/cluster_scheduler.sh.template#爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板#版权声明：不定期更新维护地址，看这里→_→ https://blog.youkuaiyun.com/qq_16592497/article/details/81299060#脚...

2018-07-31 11:27:41 768

原创 Linux 爬虫之数据从哪儿来？

所见即所得，万物皆可爬爬虫与反爬虫的博弈Focus on the value of data！参考网址：利用 Linux curl 爬取网站数据爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板：https://blog.youkuaiyun.com/qq_16592497/article/details...

2018-07-30 15:33:52 346

卡布奇诺加点冰