senlin1202的博客

SSH（Secure Shell）是什么？是一项创建在应用层和传输层基础上的安全协议，为计算机上的 Shell（壳层）提供安全的传输和使用环境。也是专为远程登录会话和其他网络服务提供安全性的协议。它能够有效防止远程管理过程中的信息泄露问题。通过 SSH 可以对所有传输的数据进行加密，也能够防止 DNS 欺骗和 IP 欺骗。具体生成 SSH Key 方式请参考：Github ssh key生成，免密登录服务器方法。这里以id_ecdsa（私钥） 和id_ecdsa.pub（公钥） 为例。本篇文章主..

使用awk统计在Linux下进行文本处理，没什么比sed/AWK更强大了。于是乎直接想到了用awk将报告中的”PASS”，”FAIL”数目统计一下即可。代码示例如下： 12345 PASS数目:grep -o ".*tests executed in" reportName | awk 'BEGIN{sum=0}{if($1 ~ /PASS/)sum+=$2}END{print sum}'FAIL数目：grep -o ".*tests execut

之前大都用linux，突然上手debian发现一些之前不大熟悉的问题再次做下记录：场景：需要安装每天定时执行一次配置定时任务，发现自己定时任务安装天配置怎么都不执行，分钟到时能执行排除了定时任务本身未启动问题debian的定时任务的启动日志需要单独开启，默认是没有的，开启后也买发现任何问题偶尔看了下服务器时间，当时就晕了，debian的服务器时间默认用的时区非我们的东8区1 安装时间同步apt-get install ntpdate2 进行时间同步ntpdate cn....

在运维实战中，如果有若干台数据库服务器，想对这些服务器进行同等动作，比如查看它们当前的即时负载情况，查看它们的主机名，分发文件等等，这个时候该怎么办？一个个登陆服务器去操作，太傻帽了！写个shell去执行，浪费时间~~这种情况下，如果集群数量不多的话，选择一个轻量级的集群管理软件就显得非常有必要了。ClusterShell就是这样一种小的集群管理工具，原理是利用ssh，可以说是Linux系统下...

简介Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。输出信息含义执行netstat后，其输出结果为Active Internet connections (w/o servers)Proto Recv-Q Se...

类别 监控命令 描述 备注 内存瓶颈 free 查看内存使用 vmstat 3(间隔时间) 100(监控次数) 查看swap in/out详细定位是否存在性能瓶颈 推荐使用 sar -r 3 和free命令类似，查看内存的使用情况，但是不包含swap的情况 cpu瓶颈 top -H ...

环境：A 一台带外网和内网的机器，B 另一台只有内网，默认不能上网。两台机器都是centos系统A 带外网机器的 假设 外网ip为 13.21.20.10， 内网ip为 192.168.0.100B 内网机器的内网ip为 192.168.0.101设置步骤：1. A 在带外网的机器上设置iptables：iptables -t nat -A POSTROUTING -s 19...

linux-Max下转换命令可以使用iconv -f UTF-8 -t GBK -c source.txt > targe.txt查看文件编码在Linux中查看文件编码可以通过以下几种方式：1. 在Vim中可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你...

lsof是系统管理/安全的尤伯工具。将这个工具称之为lsof真实名副其实，因为它是指“列出打开文件（lists openfiles）”。而有一点要切记，在Unix中一切（包括网络套接口）都是文件。有趣的是，lsof也是有着最多开关的Linux/Unix命令之一。它有那么多的开关，它有许多选项支持使用-和+前缀。1. usage: [-?abhlnNoOPRstUvV] [+|-c ...

有些容器会自动产生一些数据，为了不让数据随着container的消失而消失，保证数据的安全性。例如：数据库容器，数据表的表会产生一些数据，如果我把container给删除，数据就丢失。为了保证数据不丢失，这就有了Volume的存在。Data Volume 结构图Docker持久化数据的方案基于本地文件系统的Volume。可以再执行Docker create或Dock...

字段中的索引和存储其中需要说明的是：index定义字段的分析类型以及检索方式如果是no，则无法通过检索查询到该字段； 如果设置为not_analyzed则会将整个字段存储为关键词，常用于汉字短语、邮箱等复杂的字符串； 如果设置为analyzed则将会通过默认的standard分析器进行分析，详细的分析规则参考这里store定义了字段是否存储在《ES IN ACTION》中有这...

1. 前言 Elasticsearch（ES）可用于全文检索、日志分析、指标分析、APM等众多场景，而且搭建部署容易，后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望，大幅度降低使用多套专用系统的运维成本（当然ES不是万能的，不能满足事务等场景）。正是因为其通用性和易用性，ES自2010年发布首个版本以来得到爆发式的发展，广泛应用于各类互联网公司的不同业务场景...

前言近期想尝试使用 Elasticsearch + analysis-ik 组合来实现全文搜索，所以需要在自己的Linux服务器上安装Java1.8的环境。安装Java1.8使用 yum search 命令搜索 Java 对应的包yum search java从结果中，我们找到我们需要的包名：java-1.8.0-openjdk.x86_64<img src="...

ELK平台介绍在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，...

#action.destructive_requires_name: truenode.max_local_storage_nodes: 256#集群的名字 cluster.name: maydaynode.master: true#节点名字node.name: node-master#数据存储目录(多个路径)path.data: /home/elasticsearch/data#日志目录path.logs: /home/elasticsearch/l

1. 准备我的操作是这样的，让手机和电脑在同一个局域网内（比如连接同一个 wifi），接着在手机的wifi上设置代理，电脑使用 Charles 做代理，IP 为电脑在局域网 IP，我这边的环境，手机 IP 为 172.17.32.117，电脑 IP 为 172.17.32.19。再设置代理端口为 8888。设置代理后，接下来手机的请求都会通过电脑的网卡代理请求发送出去。其实可以不用这么绕。...

在服务端，连接达到一定数量，诸如50W时，有些隐藏很深的问题，就不断的抛出来。 通过查看dmesg命令查看，发现大量TCP: too many of orphaned sockets错误，也很正常，下面到了需要调整tcp socket参数的时候了。第一个需要调整的是tcp_rmem，即TCP读取缓冲区，单位为字节，查看默认值cat /proc/sys/net/ipv4/tcp_rmem...

以下表格中红色字体为常用优化参数下列文件所在目录：/proc/sys/net/ipv4/ 名称 默认值 建议值 描述 net.ipv4.tcp_syn_retries 5 1 对于一个新建连接，内核要发送多少个 SYN 连接请求才决定...

1.下载所有待编译安装的包wget http://nginx.org/download/nginx-1.9.9.tar.gzwget http://cn2.php.net/distributions/php-7.2.8.tar.gz php 装好后自带php-fpm  Nginx: 依赖插件安装:(centos用户自己谷歌下相应的组件)sudo apt-ge...

linux shell中的语法和普通编程语言 c/c++ java 的不太一样，平时用的不多，所以总是记不住，写脚本才会去查怎么用。今天突然被问到数组怎么去遍历。平时写shell脚本也经常遍历数组，但是一下没答上来，被鄙视了。所以平时学习还是好好总结吧，不能每次都问度娘谷爷。IT 知识体系较为庞大，细节的东西也太多，平时遇到问题应该的多总结记笔记。linux 中定义一个数据的语法为：...

上一篇文章写过centos 7下clickhouse rpm包安装和基本的目录结构，这里主要介绍clickhouse高可用集群的部署方案，因为对于默认的分布式表的配置，每个分片只有一份，这样如果挂掉一个节点，则查询分布式表的时候直接会报错，这个是基于clickhouse自己实现的多分片单副本集群，配置也比较简单，这里说的高可用是指，每个分片具有2个或以上副本，当某个节点挂掉时，该节点分片仍可以由其...

clickhouse是由俄罗斯Yandex公司开发的列式存储数据库，于2016年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于hadoop的生态系统，都是独立使用，在大数据存储业务上还是可以考虑的.    clickhouse官网地址：https://clickhouse.yand...

https://blog.youkuaiyun.com/qq_28803203/article/details/797130231.概述 Dubbo 是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以...

目录前言 环境准备 tomcat做应用服务器 nginx做负载均衡 keepalived实现nginx高可用(HA) 注意点 参考 回到顶部前言　　使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，不要企图去换更强大的服务器，对大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求。这种情况下，更恰当的做法是增加一...

阅读此文，你将得到什么： ClickHouse安装的2种方法，以及背后的坑 一步步帮你实现ClickHouse从单机到集群化，以及集群化的原理、配置文件等 集群化的2种方案，孰优孰劣 如有疑问，请留言或者联系我组件介绍ClickHouse安装完后，会有几个重要命令： clickhouse-server ClickHouse的Server端，也就是CK数据...

1  nginx  优化   十万并发 一般来说nginx 配置文件中对优化比较有作用的为以下几项： worker_processes 8; nginx进程数，建议按照 cpu 数目来指定，一般为它的倍数。 worker_cpu_affinity  00000001  00000010  00000100  00001000  00010000  00100000 010000...

shopt 命令可以设置 shell 的可选参数.shopt [-psu] [optname …]-s 开启某个选项.-u 关闭某个选项.-p 列出所有选项的当前生效命令. （不带-p表示列出所有选项的当前状态）extglob选项如果开启 extglob 选项, shell 将启用扩展模式匹配查看 extglob 选项是否开启(默认是off)$ shopt extg...

首选先参考这个作者些的：thrift是一个比较流行的rpc框架，很多公司都有大规模使用的经验，不过网上很少有关于thrift－lua的介绍和exampleapache的thrift－lua也是刚刚从fbthrift项目引入，在安装过程中踩了一些坑，记录一下首先是版本问题，apache-thrift的最新版本是0.9.3，这个版本支持的lua版本是5.

还是简书好啊，娘了，花钱短信验证才等进去，操蛋的产品改文章转自简书：http://www.jianshu.com/p/9eb9995884a5Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Dock

互联网产品中的检索功能随处可见。当你的项目规模是百度大搜|商搜或者微信公众号搜索这种体量的时候，自己开发一个搜索引擎，加入各种定制的需求和优化，是非常自然的事情。但如果只是普通的中小型项目甚至创业团队|创业项目，直接拿轮子则是更合理的选择。 ElasticSearch就是这样一个搜索引擎的轮子。更重要的是，除去常规的全文检索功能之外，它还具有基础的统计分析功能（最常见的就是聚合），这也让他变得更加

一：前言防火墙，其实说白了讲，就是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，以达到让它对出入网络的IP、数据进行检测。目前市面上比较常见的有3、4层的防火墙，叫网络层的防火墙，还有7层的防火墙，其实是代

$( ) 与 ` ` (反引号)在 bash shell 中，$( ) 与 ` ` (反引号) 都是用来做命令替换用(command substitution)的。所谓的命令替换与我们第五章学过的变量替换差不多，都是用来重组命令行：* 完成引号里的命令行，然后将其结果替换出来，再重组命令行。例如：[code]$ echo the last sunday is $(date

一、sed (Stream Editor)1、定位行：sed -n '12,~3p' pass #从第12行开始，直到下一个3的倍数行（12-15行）sed -n '12,+4p' pass #从第12行开始，连续4行（12-16行）sed -n '12~3p' pass #从第12行开始，间隔3行输出一次（12，15，18，21...）sed -n '10

简介使用upstream模块实现nginx负载均衡使用nginx_upstream_check_module模块实现后端服务器的健康检查使用nginx-sticky-module扩展模块实现Cookie会话黏贴（session-sticky效果）使用proxy模块实现静态文件缓存使用ngx_cache_purge实现更强大的缓存清除功能1. nginx-sticky-m

http {　　keepalive_timeout 20; --长连接timeout keepalive_requests 8192; --每个连接最大请求数}events { worker_connections 102400;}   转：http://bert82503.iteye.com/blog/2152613先说说服务为

一套推送服务器，只有一个只读json接口。原理是使用了发布订阅模式，所有数据都缓存到了tomcat中，向推送服务器写入数据走的是另外一套业务系统，并不是从推送服务器写入。每次请求到来不需要任何远程读取，tomcat中直接返回。在虚拟机上（4c）上做了性能测试，TPS在7000#/sec左右波动，响应时间是平均4ms。理论上这是一个很强大的模块，或者说是系统。但是生产通过监控平台发现，有个别请求用了

http://blog.chinaunix.net/uid-346158-id-2130833.html关于登录linux时，/etc/profile、~/.bash_profile等几个文件的执行过程。在登录Linux时要执行文件的过程如下：在 刚登录Linux时，首先启动 /etc/profile 文件，然后再启动用户目录下的 ~/.bash_p

上周用monit搭建或者说定制了一个监控系统，来监控服务器发生事情。当然了主要是监控异常，因为我们的产品属于服务器类型，很多进程都daemon，要不停的运行。我们搭建监控目的不过是出现问题能够及时的知道，平时可从web UI上看到整个系统的状况，同时它本身要轻量级，不要影响性能。当然了类似的产品很多了，比如Ganglia，我在老科长波哥曾经搭建过一个Ganglia系统监控科室十几台服务器，让我

原文地址：http://www.linuxcommand.org/man_pages/xgettext1.htmlXGETTEXT(1) GNU XGETTEXT(1)NAME xgettext - extract gettext strings from s

今天看一个脚本文件的时候有一些地方不太懂，找了一篇文章看了一些，觉得不错，保留下来。 假设我们定义了一个变量为：复制代码 代码如下:file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：复制代码 代码如下:${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file