
Devops
文章平均质量分 75
点火三周
热爱编程,老码团队成员,《老码说编程之玩转Swift江湖》作者。elasitcsearch认证工程师,elasitcsearch中文社区成都负责人
展开
-
datadog 全观测性初体验
安装测试环境我们使用Elastic在github上的项目apm-integration-testing,来生成对应的APM数据。我们使用这个项目的整个测试环境中包含了用于demo的前端,后端,数据库的实例,包含java、python、node.js、ruby、go、.net、php等不同语言编写的应用程序,也包含了数据库(postgres)、搜索引擎(elasticsearch)、缓存(redis),通过对这样一个环境进行可观测性的验证,我们可以充分了解datadog的功能。通过以下命令下载该项目后:原创 2021-04-16 21:50:41 · 16671 阅读 · 1 评论 -
python中调用ansible 2.8
之前已经写过一篇文章了手把手教你在python中运行ansible-playbook今天整理一下,把调用ansible的方法一并发出来。这里特别要注意的是:ansible的代码一直在重构,每个版本的调用方式都不一样,以下代码仅限于ansible 2.8,关于其他版本,请自行百度另外,本人正在做一个ansible的可视化项目,有兴趣的朋友可以给我留言,一起做!# !/usr/bin/env...原创 2019-07-04 11:24:23 · 9898 阅读 · 17 评论 -
使用ansible+vue搭建elastic的自动化部署和配置平台
文章目录背景原型需求核心的需求管理需求技术需求可扩展需求招募背景因为经常和elastic打交道,所以平常写了很多关于elastic的博文。因为elastic的更新速度,所以常常骂空气。基本上每个月都会有一个版本更新,为了跟上速度,集群,插件的版本和配置更新工作就成了家常便饭。虽然自己写了一套ansible的脚本,但使用起来并没有那么方便。单纯使用 ansible 脚本,在我看来有以下缺点:...原创 2019-07-03 16:37:04 · 3103 阅读 · 13 评论 -
以其他账户安装rpm install elasticsearch时的排坑方法
作为一个elastic认证工程师,因为公司内部的一个要求:“必须用一个开发账户来安装所有的软件”,被整得死去活来,惭愧。。。问题描述首先,官网上有一点没有写好,如果你用rpm安装elasticsearch的话,必须先创建elasticsearch用户。如果你用一个别的用户,比如说用户名是jboss,在jboss用户下按照官网的命令:wget https://artifacts.elas...原创 2019-03-16 09:45:50 · 2352 阅读 · 0 评论 -
elastic stack 6.6尝鲜体验(云服务以及GA版 APM distributed tracing)
今天收到一封邮件,elastic stack 发布了6.6版本,其中一个重要升级就包括了最近在关注的APM distributed tracing功能,之前的6.5版本中还属于beta版本,有一些坑,现在是GA版本了,必须试一下。顺便的,必须试一下ES传说中的cloud service。在ES cloud上使用部署最新的6.6套件申请整个步骤非常简单,点击邮件里面的连接,跳转到ES的云服务...原创 2019-01-30 11:35:30 · 1582 阅读 · 0 评论 -
elastic APM 深入测试 一 (无嵌套调用的分布式微服务监控)
前几篇文章,我在一个比较浅的层面给大家介绍了elastic的APM功能,对于我而言,在没有具体到真正的在生产环境上去应用,对各种场景进行适配之前,也只是对APM建立了一个基础的认知。在接下去的几篇文章中,我会尽可能的模拟各种我们在现实生产环境上可能遇到的场景来进行测试,看看elastic APM能够满足我们哪些方面的需求。无嵌套调用的微服务监控首先,我们先来看一个比较简单的场景,即部署多个进程...原创 2019-02-01 10:34:42 · 14629 阅读 · 1 评论 -
解决Selenium无法启动的问题:WebDriverException: Message: chrome not reachable
上来先讲重点,如果出现这个问题,先检查两个地方:和网上大多数的文章类似,先看你的hosts文件中localhost的指向排查第一个问题之后,打开你的进程管理器,看看是不是有已经运行的chromedriver程序占用了端口一般都是这两个问题造成的。下面是细节:这两天,我也遇到了这个鬼魅的问题,因为我的自动化程序已经跑了好几个月了,在我没做任何修改的情况下,突然这几天我收不到通知短信...原创 2018-09-07 09:43:44 · 50153 阅读 · 8 评论 -
最强PostMan使用教程(5)- 工作协同:使用Postman生成接口文档和示例
Postman这个Documentation功能对于前后端分离的团队,接口开发团队来说真的是提升沟通效率和工作效率的一个利器。废话不多说,直接上干货来看如何通过Postman来生成接口文档和发布接口文档,以及如何定制化文档中的内容。流程概要定义一套接口,为接口生成文档和示例一般来说有以下步骤:(这里只列出postman参与的部分)创建一个接口集合,描述该接口集合的功能、范围等信息将...原创 2018-08-27 22:26:42 · 63007 阅读 · 14 评论 -
用zookeeper同步kibana集群
最近在忙于搭建公司内部的应用日志分析系统,鉴于公司架构的要求,所有的服务都必须双活。对于应用日志分析系统,现在普遍采用的都是ELK stack的框架,前端部分的kibana是必选项。而如果需要将kibana做成双活,则两个kibana之间需要做一定的同步(因为共享一个elasticsearch集群作为数据存储,则两个kibana之间在执行alarm,report等动作时,需要一定的同步机制,...原创 2018-02-11 16:57:40 · 2492 阅读 · 0 评论 -
使用docker编译不同平台上的node native module
最近在忙于搭建公司内部的应用日志分析系统,鉴于公司架构的要求,所有的服务都必须双活。对于应用日志分析系统,现在普遍采用的都是ELK stack的框架,前端部分的kibana是必选项。而如果需要将kibana做成双活,则两个kibana之间需要做一定的同步(因为共享一个elasticsearch集群作为数据存储,则两个kibana之间在执行alarm,report等动作时,需要一定的同步机制,避免同一原创 2018-02-11 16:09:16 · 2558 阅读 · 0 评论 -
在RHEL5.5或CentOS5.5上做功能验证
如果你有幸碰到需要在比较老的Linux系统上面部署你的软件,那么在部署之前,免不了需要在本地做一下测试,但现在网上已经很难下到RHL5.5的安装包了。但山穷水尽疑无路,柳暗花明又一村,dockerhub上还有人做了这样的一个image,不用说,其意图,果然是用于做测试。 安装了docker的朋友可以通过以下命令获取该image:docker pull gpmidi/centos-5.5原创 2018-01-24 14:47:51 · 1105 阅读 · 0 评论 -
ansible playbook支持的atrributes
ansible这个工具的官方文档其实做得特别不好。不仅没有搜索功能,而且对于playbook的各种属性居然没有介绍,特别是gather_facts:这种属性,在特定的场景下关掉是可以减少很多等待时间的。原创 2017-11-28 10:15:18 · 1605 阅读 · 0 评论 -
为ELK在linux上创建具有管理员操作权限的账户
这个操作貌似在生产上是违规的。。。 但如果你没有root权限,我也想不出来为什么在安装ELK的时候需要创建什么elasticsearch,logstash,kibana的用户和用户组。。。因为即便你把所有的应用文件和目录都设置成对应的用户和用户组,但如果你对配置文件进行了修改,无论如何是需要重启服务的(当然,大部分的elasticsearch配置是可以在线修改的,logstash是可以做confi原创 2017-12-21 09:31:40 · 3273 阅读 · 0 评论 -
如何在基于kafka和ELK stack的日志分析系统中进行流量控制
为什么需要做流量控制在搭建日志分析系统时,运维人员最担忧的问题之一,就是部署在生产服务器上的日志采集单元是否会过度侵占本该属于生产应用的系统资源。具体来说,就是cpu,内存和网络资源。特别是在当前虚拟机或云大行其道,多个虚拟机,或者docker镜像会共用cpu和网卡的情况下,更应该注意控制辅助应用对整个系统资源的使用情况。 这篇文章主要是针对网络消耗的,因为多个虚机会共用物理机上的网卡,首先网络带原创 2017-11-30 10:38:57 · 4165 阅读 · 0 评论 -
在filebeat 6.0.0中如何将log输出到不同到kafka topics
2017年11月,elastic发布了最新的elastic stack 6.0.0版本,整个版本做了不少的改动,大家可以查阅官方的release note和break change。我们第一时间尝鲜,将日志分析系统升级到6.0.0。坑肯定是少不了了,这里,说一下filebeat升级后但影响。在filebeat 5.x的版本中,如果你想在一个filebeat agent上收集不同的log,然后pub原创 2017-11-29 14:33:29 · 21360 阅读 · 6 评论