- 博客(26)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 SRE&运维面试相关高频题库
目的：确认双方收发能力是否正常，指定自己的初始化序列号为后面可靠性传输做准备。过程：第一次握手客户端向服务端发送syn报文，指明客户端初始化序列号（在发送连接请求后等待匹配的连接请求）第二次握手服务器收到客户端的syn，发送syn报文作为应答，指定自己的初始化序列号，同时把isn+1作为ack的值，标识收到syn，希望收到的下一个数据第一个字节序列号是x+1。（在收到和发送一个连接请求后等待对连接请求的确认）第三次握手客户端收到服务端响应的syn报文后发送ack报文，一样isn+1作为ack的值表示收到sy
2022-07-07 15:43:48
6124
原创 netdata_prometheus_thanos
netdata_prometheus_thanos一、需求指标丰富：包括系统CPU、内存、网络、IO、以及常用组件性能采集秒级粒度：能做到秒级采集一次信息，以及保留采集更小粒度的能力数据保留时间长：对于采集的数据保留足够长的时间，以便于对比历史发现问题查询快：查询指标时需要响应要足够快占用资源小：采集及查询是占用资源需要尽可能小具备扩容能力：对于越来越大的业务规模，需要有扩容能力，能够在一定规模增长下通过扩容保证性能数据采集稳定二、解决方案1、针对指标丰富及秒级粒度需求，使用ne
2020-11-03 11:19:41
1286
原创 Flume配置文件详解
Flume配置文件详解1.基本组成(1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。配置方式如下：xxx.sources = r1 定义一个名为r1的sourcexxx.channels = c1
2020-10-29 16:06:46
2741
原创 32位linux系统不支持4G内存的处理方法
32位linux系统不支持4G内存的处理方法补充材料：操作系统在32bit x86平台上最大寻址空间只有4GB，如果要使用大于4GB的内存，就必须使用Intel的PAE（物理地址扩展）模式。在Windows NT平台实现PAE只需要对boot.ini加上/pae即可。而对于RHEL5，缺省安装模式下是不允许检测超过4GB内存，所以我们需要在内核安装完 毕后再安装kernel-PAE套件。操作系统内存寻址能力：32位寻址能力为4GB64位寻址能力为16777216TB(1TB=1024GB)也就是
2020-10-28 17:13:08
539
原创 nagstamon监控小工具
nagstamon监控小工具官网：https://nagstamon.ifw-dresden.de/download/ nagstamon是一个安装在系统上，是一个常驻系统的监控一个小工具。 对于报警会产生报警铃声，默认的是默认的报警铃声，但是也可以自己设置报警铃声。...
2020-10-28 17:10:36
345
原创 nginx
安装方式一：yum部署安装：yum install nginx -y服务：ps aux | grep nginx | grep -n grep安装方式二：源码部署安装：http://nginx.org/en/download.htmlnginx默认依赖：yum -y install openssl openssl-devel pcre pcre-devel zlib zlib-develnginx默认安装wget http://nginx.org/download/nginx-1.18.
2020-10-28 17:07:19
143
原创 安装3.0的tar包与配置文件
1 安装3.0的tar包与配置文件tar -zxvf mongodb-linux-x86_64-3.0.15.tgzmv mongodb-linux-x86_64-3.0.15 /usr/local/mongodb3.0mkdir /usr/local/mongodb/3.0/confcp /usr/local/mongodb2.6/conf/mongo.conf /usr/local/mongodb/3.0/conf2 修改3.0配置文件2.6配置文件port=27019dbpath=/
2020-10-28 17:06:04
243
原创 堡垒机介绍及安装
堡垒机介绍及安装1.介绍2.安装部署2.1安装依赖包rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmyum install -y vim automake autoconf gcc xz ncurses-devel patch python-devel git python-pip gcc-c++2.2安装mysql数据库yum -y install mysql mysql-se
2020-10-28 16:58:29
723
原创 Neddata 安装配置步骤
Neddata 安装配置步骤netdata数据收集1.文件压缩包上传到 61.147.165.135服务器的/var/www/html 下2.查看文件是否有异常 sha256sum netdata-v18.0.0_ww.tar.gz 结果对比 7f95592a13325309a2216826c13b7b68b2c37d1cfc2c96fc9d255ab8845a862a3.解压文件 tar -zxvf netdata-v18.0.0_ww /var/www/html4.vim /etc/http
2020-10-28 16:56:39
496
原创 ganglia监控安装
架构图在《ganglia系统监控》书中截图基础上修改，具体架构和原理介绍见参考链接中的《ganglia系统监控》一书的链接配置epel源配置centos支持epel源，用于安装ganglia相关程序。Debian系列不需要额外配置，官方源就有ganglia。根据系统版本，在以下连接中找到对应的epel-release-5-4.noarch.rpmhttp://dl.fedoraproject.org/pub/epel/如centos5.6 32位下载wget http://dl.fedor
2020-10-28 16:38:31
201
原创 ElK日志收集系统
ElK日志收集系统什么叫ELKElasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。工
2020-10-28 16:29:51
480
原创 hbase部署记录
hbase部署记录注：本文的前提是hadoop已经搭建好。版本信息如下系统 Debian 6.0jdk jdk1.6.0_24hadoop hadoop-0.20.2+737hbase hbase-0.90.1-cdh3u0zookeeper zookeeper-3.3.3-cdh3u0zookeeper简介客户端与hbase交互需要通过zookeeper。进程:QuorumPeerMain端口：2181(客户端连接)/2888(选举)
2020-10-28 16:24:36
341
原创 数据仓库设计规范
数据仓库设计规范一、模型层次结构ODS 原始数据层由业务方生成的原始数据，直接放入原始数据层如果需要查原始日志可以从ODS层进行检查DWD 仓库明细层是对原始数据层的提炼和清洗，这一层注重对原始数据的清洗和简单汇总DWB 仓库核心明细层这一层主要是还是明细，在这一层中，可以和其他的维表进行关联，进而产生产品经理或分析师较为关注的字段DWS 仓库核心汇总在这一层中，主要是汇总信息，比如统计ID访问次数，PC登陆人数等汇总后的统计信息ST / DIM 应用层主要用于业务部门使用，该层是
2020-10-28 16:23:58
681
原创 Centos7 Ambari集群环境搭建
Ambari集群环境搭建1.1服务规划序号 主机名 操作系统 Ip地址 服务1 hbase100.yun Cent OS_7.6 172.21.xx.100 HTTP Server、amber-server、amber-agent2 hbase101.yun Cent OS_7.6 172.21.xx.101 amber-agent2 hbase102.yun Cent OS_7.6 172.21.xx.102 amber-agent*****1.2
2020-08-24 13:40:53
424
原创 python3.6 环境搭建及pip插件安装
python3.6 环境搭建及pip插件安装下载脚本执行，有交互式界面根据个人需求选择。https://repo.anaconda.com/miniconda/Miniconda3-4.5.4-Linux-x86_64.sh2、 安装相关包/home/cbas/anaconda3/bin/pip install scikit-learn /home/cbas/anaconda3/bin/pip install PyFunctional /home/cbas/anaconda3/bin/pip i
2020-08-13 15:31:28
250
原创 拿来即用的网络数据采集分析工具 -- Tcpdump过滤组合
理解 tcpdump 的输出tcpdump 输出的内容虽然多，却很规律。这里以我随便抓取的一个 tcp 包为例来看一下21:26:49.013621 IP 172.20.20.1.15605 > 172.20.20.2.5920: Flags [P.], seq 49:97, ack 106048, win 4723, length 4从上面的输出来看，可以总结出：第一列：时分秒毫秒 21:26:49.013621第二列：网络协议 IP第三列：发送方的ip地址+端口号，其中172.2
2020-07-01 13:58:16
897
原创 两台服务器SSH免密登录设置
目标：从服务器A免密登录服务器B【配置方法】1.在服务器A生成密钥文件，直接使用以下命令：ssh-keygen中间遇到输入内容一路回车即可，完成后会在 ~/.ssh 目录下生成两个文件：id_rsa（私钥文件）和 id_rsa.pub（公钥文件，在服务器B要用到的）2.登录服务器B，编辑~/.ssh/authorized_keys文件，将服务器A里的~/.ssh/id_rsa.pub内容复制进去保存，并授予权限644。另外~/.ssh目录授权700vim ~/.ssh/authorized_k
2020-06-29 11:34:42
948
原创 Postgres数据库搭建主从集群
一、postgresql流复制实例： 1 MASTER2 SLAVE(一)Master安装Master依次安装rpm包：rpm -ivh postgresql11-libs-11.7-1PGDG.rhel6.x86_64.rpmrpm -ivh postgresql11-11.7-1PGDG.rhel6.x86_64.rpmrpm -ivh postgresql11-server-11.7-1PGDG.rhel6.x86_64.rpmrpm -ivh postgresql11-c
2020-06-29 09:35:15
808
原创 MepReduce综述
MapReduceMapReduce 是一种计算模型，该模型可将大型数据处理任务分解成很多个计算单元，在服务器集群中并行执行的任务。这些人物的计算结果可以合并在一起来计算最终的结果。MapReduce编程模型是由谷歌（Googel）开发的。Googel通过一篇很有影响力的论文对这个计算模型进行了描述，名为《MapReduce：大数据之上的简化数据处理》。一年后，另一篇名为《Google 文件系...
2020-04-03 23:58:41
656
原创 超详细的HDFS读写流程详解（最容易理解的方式）
HDFS采用的是master/slaves这种主从的结构模型管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。HDFS作为hadoop的分布式储存框架，最重要的莫过于数据流的读写过程了，下面就HDFS得数据流的读写流程做个详细的剖析。HDFS的写流程首先写操作的代码操作：hd...
2020-03-12 14:43:28
741
转载 教你怎么查看 hive 的执行计划
编译器中的实现细节我们在总结Hive架构的时候，我们知道Hive中有一个Compiler组件，这个组件主要是解析字符串的SQL，然后生成执行计划，我们介绍文章主要是详细讲解Compiler中的细节以及生成的执行计划我们从下面的HiveSQL语句开始：use douban;-- 创建一张临时表CREATE TABLE `douban.movie_temp`( ...
2020-03-06 16:21:37
8067
1
原创 Hive架构解析
Hive架构Hive其实是架设在HDFS之上的SQL解析执行框架，就是说我们使用Hive可以通过SQL来操作HDFS上的数据。下面是Hive On MapReduce的架构图上图中描述了Hive中主要的组件和Hadoop的交互，下面是对主要组件的解释：UI：提交SQL查询的user interface，我们前面接触过的hive命令行、beeline以及JDBC客户端程序都属于UIDri...
2020-03-06 16:06:03
290
原创 PostgreSQL 元命令介绍
Postgre元命令介绍postgresql中的元命令是指以 \（反斜线）开通的命令，怕失去了，提供的丰富的元命令，能够便捷地管理数据库，比如查看数据库对象的定义，查看数据库对象占用空间的大小，列出数据库各种对象名称，暑假导入导出等，比如查看数据库列表，如下所示1.使用元命令查看表空间 \db，如下所示2.查看表的定义 \d，先创建一张测试表，如下所示generatr_serie...
2020-03-06 13:25:55
1466
原创 数据仓库系统架构流程图
个人理解的数据仓库系统架构设计流程图整合了自己已有的知识还有网络上公开的知识做出来的两幅图考虑不周如有问题，还请不吝赐教涉及的主要流程涉及的具体技术...
2020-03-05 19:42:57
1478
原创 关于数据仓库的自我认知
离线数据仓库 （T+1处理昨天的数据 ） 数据的生命周期：数据采集-数据处理-数据挖掘-数据分析-数据可视化数据仓库系统的结构从字义上看， “仓库”可以想像成一所大房子，高高的货架，合理的出入路线，是一种集中存储货物的地方，一般顾客是不来参观访问的； 而说到“集市”，就容易联想到空旷的场地，川流不息，大小商户摆出摊子，卖衣物的、卖烧饼及卖艺的，是让顾客来消费的地方。 具体来说，数据仓库仅...
2020-03-05 19:29:29
1771
原创 PostgreSQL的常见数据类型
数据类型1.1 数字类型PostgreSQL 支持的数字类型有整数类型，用户指定精度类型，浮点型，serial类型。数字类型列表smallint，integre，bigint 都是整数类型，存储一定范围的整数，超出范围将会报错。smallint存储2字节的整数，字段定义时可写成int2。integer存储4字节整数，支持的数值范围比smallint大，字段定义时可写成int4，是最常...
2020-03-05 18:43:02
3126
kickstart.sh
2020-09-10
python_pip.tar
2020-08-13
pgpool-II-pg11-debuginfo-4.0.9-1pgdg.rhel7.x86_64.rpm
2020-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人