lyzkks-优快云博客

原创 kibana篇之数据探索Discover

导入测试数据这里使用官方的测试数据进行导入，教程在测试数据教程导入模板PUT /logstash-2015.05.18{ "mappings": { "log": { "properties": { "geo": { "properties": { "coordinates": {

2018-07-29 12:30:06 3041

原创 saltstack API的使用

saltstack自定义模块saltstack模块是指被salt调用的python函数。默认路径在/srv/salt/_modules。调用方法是：salt "*" 文件名.函数名支持python和Cython，python以.py结尾，Cython以.pyx结尾。同步到minion的方法： 1、salt "*" state.apply 2、salt "...

2018-07-26 21:23:52 849

原创 saltstack使用

saltstack基本使用按照saltstack部署的方式不是一个master+minion的测试环境。通过salt-key -L查看一下加入salt环境的minion： Grains模块grains模块使用grains是minion启动的时候采集的系统的静态信息，包括cpu、操作系统、文件系统、硬盘等。显示所有的minion的grians信息：salt '*...

2018-07-22 18:39:20 919

原创 saltstack基础

saltstack介绍概念1、一个配置管理系统，能够维护预定义状态的远程节点。 2、一个分布式的远程执行系统，用来在远程节点上执行命令和查询数据。特点1、相对于其他（例如pupet）重量型自动化运维工具来讲其相对简单。 2、并发能力和并行执行能力强于ansible。 3、基于成熟的技术。 4、有python api，可自定义功能。 5、灵活，开源。服务架构...

2018-07-22 17:07:16 580

原创 kibana

kibana线上部署推荐架构kibana页面Index Patterns在kibana页面中，Index Patterns 是用来定义索引匹配的。点击进入这个功能的页面后，大体分为2个部分，左侧是创建按钮和已创建索引的部分，右边是具体某一索引的详情。右侧有三个部分，第一部分是fields字段，第二段是scripts fields脚本字段，第三段source ...

2018-07-22 15:27:27 770 1

原创 logstash篇之监控运维

apilogstash 提供了丰富的api来查看logstash的状态。 x-packlogstash的x-pack插件也提供了logstash相关的监控功能，将在kibana中以图形方式展现，弥补了api不直观的功能。安装使用如下命令：logstash-plugin install x-pack 安装完成后修改logstash配置文件：# 在最后的 ...

2018-07-22 13:40:48 7920

原创 logstash篇之插件

input插件input 插件指定数据的输入源，一个pipeline可以有多个input插件。stdin举例： file配置 glob匹配语法举例 kafkakafka是最流行的消息队列。 codec 插件codec插件作用域input和output插件，负责将数据在原始与logstash ev...

2018-07-15 13:05:35 8367

原创 logstash篇之入门与运行机制

介绍简介logstash 是一个数据收集处理引擎。工作流程分为三个阶段处理流 pipelinepipeline 是input-filter-output的三个阶段的处理流程，包含队列管理、插件生命周期管理。logstash event原始数据进入logstash后在内部流转并不是以原始数据的形式流转，在input处被转换为event，在outp...

2018-07-14 16:23:36 17413

原创 elasticsearch的分布式特性

分布式特性es本身支持集群模式，是一个分布式系统，主要有两个好处：增大系统容量，如内存、磁盘，使es集群可以支持PB的数据提高系统的可用性，即使部分节点停止服务也不影响整个集群es集群由多个es实例构成：不同的集群通过名字来区分，可通过cluster.name进行修改，默认为elasticsearch；每个es实例本质上是一个JVM进程，且有自己的名字，可通过node...

2018-06-23 17:08:48 611

原创【docker案例】项目打包部署

docker compose用法什么是composeCompose是一个定义和管理多容器的工具，使用Python语言编写。使用Compose配置文件描述多个容器应用的架构，比如使用什么镜像、数据卷、网络、映射端口等；然后一条命令管理所有服务，比如启动、停止、重启等。安装compose一键部署LNMP网站平台一键部署nginx反向代理Tomcat集群...

2018-06-17 16:18:56 5697

原创【容器监控】cAdvisor+InfluxDB+Grafana

组件介绍cAdvisorGoogle开源的用于监控基础设施应用的工具，它是一个强大的监控工具，不需要任何配置就可以通过运行在Docker主机上的容器来监控Docker容器，而且可以监控Docker主机。更多详细操作和配置选项可以查看Github上的cAdvisor项目文档。InfluxDB它是一个分布式时间序列数据库。cAdvisor仅仅显示实时信息，但是不存储监视数据。因此，...

2018-06-17 13:29:15 913

原创 Portainer容器管理工具

简介Portainer是一个开源、轻量级Docker管理用户界面，基于Docker API，可管理Docker主机或Swarm集群，支持最新版Docker和Swarm模式。Portainer 允许您管理 Docker 容器、image、volume、network 等。它与独立的 Docker 引擎和 Docker Swarm 兼容。官方网址是：https://portainer...

2018-06-10 20:42:27 5812

原创镜像仓库

搭建私有镜像仓库当使用docker pull下载一个镜像的时候，实际是从docker hub网站下载镜像。Docker Hub作为Docker默认官方公共镜像；如果想自己搭建私有镜像仓库，官方也提供registry镜像，使得搭建私有仓库非常简单。下载registry镜像并启动docker pull registrydocker run -d -v /opt/registry:/...

2018-06-10 20:14:58 3120

原创 docker网络管理

网络模式bridge默认网络，Docker启动后默认创建一个docker0网桥，默认创建的容器也是添加到这个网桥中。 host容器不会获得一个独立的network namespace，而是与宿主机共用一个。在容器中使用ifconfig查看网络发现显示的是宿主机的网络none获取独立的network namespace，但不为容器进行任何网络配置，之后用...

2018-06-05 08:41:53 949

原创 docker中搭建LNMP平台

创建Mysql数据库容器创建自定义网络创建自定义网络的目的是方便做服务的发现。docker network create lnmp创建容器docker run -tid --name=lnmp-mysql --net lnmp -p 3306:3306 --mount src=mysql-vol,dst=/var/lib/mysql -e MYSQL_ROO...

2018-06-04 13:38:57 709

原创管理应用程序数据

将Docker主机数据挂载到容器方式volumes：Docker管理宿主机文件系统的一部分（/var/lib/docker/volumes）。bind mounts：可以存储在宿主机系统的任意位置。tmpfs：挂载存储在宿主机系统的内存中，而不会写入宿主机的文件系统。volume方式管理卷docker volume create nginx-voldo...

2018-06-04 08:46:08 550

转载 Docker技术应用场景

场景一：节省项目环境部署时间1.单项目打包每次部署项目到测试、生产等环境，都要部署一大堆依赖的软件、工具，而且部署期间出现问题几率很大，不经意就花费了很长时间。Docker主要理念就是环境打包部署，可在任意Docker Engine运行。前期我们只需要将每个项目环境打包到镜像，push到镜像仓库，当有需要部署这个项目时，直接pull镜像启动容器，这个项目就可以访问了！一次构建多次部署，...

2018-05-29 20:54:57 496

原创 [集群监控]使用cAdvisor + Heapster + InfluxDB + Grafana

架构和组件组件功能cAdvisor：容器数据收集。Heapster：集群监控数据收集，汇总所有节点监控数据。InfluxDB：时序数据库，存储监控数据。Grafana：可视化展示。架构图工作流程cAdvisor负责收集节点的状态信息，然后Heapster会通过kubelet向每一个节点请求cAdvisor收集的信息，并将信息存储在InfluxDB中，Gra...

2018-05-26 13:44:05 1925

转载 [集群监控]使用Prometheus + grafana + node-exporter

架构原理Prometheus 介绍Prometheus （中文名：普罗米修斯）是由 SoundCloud 开发的开源监控报警系统和时序列数据库(TSDB)。自2012年起,许多公司及组织已经采用 Prometheus，并且该项目有着非常活跃的开发者和用户社区。现在已经成为一个独立的开源项目。Prometheus 在2016加入 CNCF ( Cloud Native Com...

2018-05-25 20:28:33 16498

原创 kubernetes高可用架构

在之前的实验中，kubernetes集群都是一台master和两台node组成的小集群，在实际的生产环境中需要考虑到集群的高可用。在node节点实际已经实现了高可用，pod分布在不同的节点上，当一个节点宕机的时候，其上的pod会漂移到正常的节点上。所以，重点的高可用重心就要放在master上。官方的master节点高可用架构图中可以看出，用户通过kubectl发送命令经过LB进...

2018-05-22 21:09:38 7411 5

原创 elasticsearch篇之SearchAPI

Search APISearch API功能Search API 实现了对es中存储的数据进行查询分析，endpoint为 _search 第一种是对es中所有的数据进行查询第二种是对指定的index查询第三种是对多个index同时查询第四种是对指定通配符的index进行查询查询的两种形式URI Search操作简便，方便通过命令进行测...

2018-05-19 21:37:22 713 2

原创 elasticsearch篇之mapping

什么是mappingmapping是类似于数据库中的表结构定义，主要作用如下：定义index下的字段名定义字段类型，比如数值型、浮点型、布尔型等定义倒排索引相关的设置，比如是否索引、记录position等查看mappingGET /[index_name]/_mapping 其中 keyword表示部分次的字符串类型自定义mapping...

2018-05-17 18:01:37 47175 17

原创 elasticsearch篇之正/倒排索引与分词

倒排索引与分词类似于书的目录，目录能够方便的定位哪一章节或哪一小节的页码，但是无法定位某一关键字的位置。有一些书的最后有索引页，它的功能就是帮助定位某些关键字出现的位置。目录页对应正排索引索引页对应倒排索引正排索引和倒排索引对于搜索引擎来讲：正排索引是文档 Id 到文档内容、单词的关联关系。也就是说可以通过 Id获取到文档的内容。倒排索引是单词到文档 Id ...

2018-05-11 15:52:05 4052 1

原创 Logstash

简介Logstash也是一个数据收据的工具，但是它会比beats占用更多的资源，同时更能也更强大。Logstash会对数据进行提取、转换和输出。官方定义是：一个数据处理流，能够同时从多个源提取、转换、发送数据。处理流程Input支持从file，redis，beats，kafka等读取数据。Filter这一环是远强于Beats的地方，它支持： - gro...

2018-05-10 21:20:18 262

原创 Beats

Beats概述什么是Beats官方定义是：轻量级数据传送工具。Beats其实是一组beat工具的统称，它包含有很多的工具。beat工具Filebeat：针对日志文件Metricbeat：度量数据，可以搜集系统性能和软件数据，将这些数据存在Elasticsearch中就可以进行展示、告警等功能。Packetbeat：网络数据，比如抓包Winlogbeat：主要针对Wi...

2018-05-10 17:31:03 1287

原创 elasticsearch增删改查

elasticsearch的CRUD操作CRUD操作就是增、删、改、查。create创建文档POST /accounts/person/1{ "name":"John", "lastname":"Doe", "job_description":"Linux Developer"} 在accounts这个index下的person这个type创建了

2018-05-10 14:50:28 1513

原创 Kibana安装与配置

下载kibana进入官网下载或者使用下面的命令下载，这里使用的是5.6.3 Linux版本：wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz安装配置kibana解压tar zxf kibana-5.6.3-linux-x86_64.tar.gz ...

2018-05-10 14:01:10 4997

原创安装与配置Elasticsearch

下载ElasticsearchElasticsearch 属于 elastic 公司，进入该公司的官网 www.elastic.co。在这里可以清楚啊的看到Elastic Stack产品的各个组件和功能点击Download按钮进入下载界面，这里我选择下载使用的版本为：Elasticsearch 5.6.3的tar包。也可以使用命令在服务器上直接下载：wget https...

2018-05-10 11:01:45 601

原创 Elasticsearch和其支持的RESTful API

Elasticsearch概念及特点什么是ElasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安...

2018-05-09 16:55:05 789

原创 ELK简介

概述日志对于分析系统及应用状态十分重要，但一般日志的数据量会比较大，并且分散在各个地方。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看，分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache 的 Chukwa...

2018-05-09 14:31:41 1092

原创 Volume

概述什么是Valume默认情况下容器的数据都是非持久化的，在容器消亡以后数据也跟着丢失，所以 Docker 提供了 Volume 机制以便将数据持久化存储。类似的，Kubernetes 提供了更强大的 Volume 机制和丰富的插件，解决了容器数据持久化和容器间共享数据的问题。与 Docker 不同，Kubernetes Volume 的生命周期与 Pod 绑定。容器挂掉后 K...

2018-05-06 13:41:43 3504 1

原创 Ingress

概述什么是Ingress通常情况下，service 和 pod 的 IP 仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到 service 在 Node 上暴露的 NodePort 上，然后再由 kube-proxy 通过边缘路由器 (edge router) 将其转发给相关的 Pod 或者丢弃。而 Ingress 就是为进入集群的请求提供路由规则的集合 In...

2018-05-02 21:15:38 8034 1

python的包管理器，相当于readhat的yum，官方的说法是pip改善了easy_install的一些缺点，可能理解pip是easy_intall替代工具。安装pip前要先安装setuptools，setuptools 是一组由PEAK(Python Enterprise Application Kit)开发的Python的distutils工具的增强工具，可以让程序员更方便的创建和发布...

2018-04-25 19:52:41 846

原创 k8s集群service管理

集群service管理包括：网络代理模式服务代理服务发现发布服务概述Service 是对一组提供相同功能的 Pods 的抽象，并为它们提供一个统一的入口。借助 Service，应用可以方便的实现服务发现与负载均衡，并实现应用的零宕机升级。Service 通过标签来选取服务后端，一般配合 Replication Controller 或者 Deployment ...

2018-04-25 15:52:59 18597

原创 pod管理

pod管理包括但不限于： - 创建、删除、更新、查询 - 资源限制 - 调度约束 - 重启策略 - 健康检查 - 问题定位概述pod是k8s集群中最小的单元，一个pod可以包含一个容器，也可以包含多个容器。创建/查询/更新/删除创建pod对象通过pod.yaml来创建pod对象。apiVersion: v1kind: Podmetad...

2018-04-25 11:44:18 2724

原创 YAML配置文件管理资源

配置文件说明定义配置时，指定最新稳定版API； API版本可以通过命令kubectl api-versions查看到配置文件应该存储在集群之外的版本控制仓库中。如果需要，可以快速回滚配置、重新创建和恢复；例如git。应该使用YAML格式编写配置文件，而不是JSON。尽管这些格式都可以使用，但YAML对用户更加友好；命令kubectl get pod ...

2018-04-24 19:31:44 1917

原创【实战】股票价格分析实战

数据获取源数据网站数据获取有很多途径：通过爬虫主动获取通过官方提供的接口获取通过一些专门提供数据的网站获取这里采用第三种方法，使用finance.yahoo.com这个网站。这个网站常被用来进行金融股票数据的搜索。例如，以阿里巴巴股票为例，进入网站搜索baba即可查看到阿里的股票价格：安装pandas_datareaderpandas_datar...

2018-04-23 16:28:49 594

原创 Seaborn

概述Seaborn是matplotlib的强大的一个扩展。Seaborn和matplotlib对比数据准备首先导入数据，数据事先准备好的是一些花的品种，其他列分别表示花萼的长度\宽度、花瓣的长度\宽度花的品种一共三种：需求要求画出花萼和花瓣的长度的散点图，并且颜色要区分花的种类实施首先根据花的种类定义好每种类花的颜色： ...

2018-04-21 16:33:02 1139

原创 kubectl管理命令的使用

概述kubectl是k8s集群的客户端，用户通过kubectl连接到集群的apiserver，并将命令传递到master上，然后master再将命令分发到node节点上执行。kubectl由众多的子命令构成。命令举例创建kubectl run nginx --replicas=3 --labels="app=example" --image=nginx:...

2018-04-19 18:08:17 18767

原创直方图和密度图

直方图直方图反映的是一组数据的分布情况绘制直方图hist方法可以用来绘制直方图：这就是一个直方图，但是不是很清晰，可以指定每个柱间宽度：直方图反应的是分布情况，为了加深这一理解，可以看如下实验：反映了每个值出现的次数指定分布区间通过bins指定分布区间个数设置颜色密度图密度图可以了解到数据分布的密度情况绘制...

2018-04-19 15:45:30 21179

空空如也

空空如也