
linux
Leon0204
这个作者很懒,什么都没留下…
展开
-
nginx 反向代理的缓存问题
http { proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=60s max_size=5g;#访问时间,过期就会删除}#es判例的location ~ /es/precedents { proxy_cache my_zone; proxy_cache_valid 200 304 10m;#这个是文件缓存时间,和访问频率无关 proxy_ignore_h.原创 2020-06-13 16:03:31 · 880 阅读 · 0 评论 -
用wt文件恢复mongodb
安装 wt 工具wget http://source.wiredtiger.com/releases/wiredtiger-3.0.0.tar.bz2tar xvf wiredtiger-3.0.0.tar.bz2cd wiredtiger-3.0.0sudo yum install snappy-devel -y./configure --enable-snappymake修复 wt 文件将要修复的mongo的 存储目录整个复制一份到 data ,这里比如我要恢复 colle原创 2020-06-10 10:17:43 · 5810 阅读 · 1 评论 -
screen + rc.local 实现开机自启动多个窗口命令
话不多说,上代码开机启动就不多赘述了,自行百度,这篇博客主要说的是,screen 在开启自启动脚本中的用法。直接写 screen -S xxxx 是会报错,无法自启动的。下面附上一个启动多个screen 任务的脚本 ,直接用就行#!/bin/sh #chkconfig: 2345 80 90 #description:*****# 开启一个sh脚本的运行窗口screen_name1="bash_service"screen -dmS $screen_name1cmd2="bash /ho原创 2020-05-21 16:23:40 · 1254 阅读 · 0 评论 -
Python3 设置 profile 环境变量
服务器环境 centos7.3 ,由于服务器上profile设置了代理代理仅限访问 A 网站,这时,我需要在我的 Python 脚本中访问 B 网站 ,就会因为代理的原因 无法访问B网站。总不能每次都运行脚本前去 修改 profile 文件 删除代理吧?在python中删除代理 / 修改环境变量OS模块 system (Failed)发现依然是拒绝访问,说明不能通过这种方式(...原创 2019-11-21 10:12:26 · 1809 阅读 · 0 评论 -
一篇最全整理,教会你离线部署Python3和pip包
本文介绍离线安装(无网模式)的坑点1 重新安装 openssl先把系统自带的这些,卸载/删除#编译安装opensslhttp://www.openssl.org/source/ cd /openssl-1.1.1sudo ./config shared --prefix=/usr/local/openssl --openssldir=/usr/lib/opensslmake &...原创 2019-11-10 10:08:14 · 1784 阅读 · 0 评论 -
深入理解 Session 和 Cookie
Q:如何精确的让Session 的有效期为30分钟呢?pre :cookie 和 session 的作用初衷都是为了记住用户在网站上的浏览信息,由于http 是无状态的,为了维持用户在网站的状态1 来看看 php 是如何设置 session 的有效期的#超过这个秒数,储存的数据会被当作垃圾,并且被垃圾回收进程清除#http://php.net/session.gc-maxli...原创 2018-03-06 16:28:20 · 361 阅读 · 0 评论 -
安装和使用 elasticSearch、LogStash、IK(一)
ELK的安装和使用-ElasticSearchElasticSearch的安装ElasticSearch的使用使用 root 用户 执行使用普通用户执行测试es运行状态索引Index记录Documents分类Type新建和删除Index原文链接:https://www.leon0204.com/article/92.htmlELK的安装和使用原创 2018-01-08 17:49:48 · 778 阅读 · 0 评论 -
安装和使用 elasticSearch、LogStash、IK(二)
ELK的安装和使用-IK中文分词IK的安装安装 maven使用IK例子-IK使用新增记录查看删除更新数据查询 accountsperson_search 查询 account person type 的所有结果全文搜索逻辑运算原文链接:https://www.leon0204.com/article/93.htmlELK的安装和使用-IK原创 2018-01-08 18:18:58 · 740 阅读 · 0 评论 -
安装和使用 elasticSearch、LogStash、IK(三)
通过Logstash由MySQL向Elasticsearch导入数据-安装 logstash-input-jdbc 工具包安装安装 jdbc在logstash 执行目录下创建目录和两个conf 文件执行mysql 导入 jdbc 测试导入结果原文链接:https://www.leon0204.com/article/94.html通过Logstash由M原创 2018-01-08 18:42:43 · 3249 阅读 · 0 评论 -
一次磁盘满导致gitlab无法访问 的bug
同事说,gitlab无法访问,访问发现502 ,去服务器上看了下nginx error.log2018/01/31 15:01:50 [alert] 16867#0: *67473 write() to "/usr/local/nginx/logs/access.log" failed (28: No space left on device) while logging request,原创 2018-01-31 16:05:53 · 2493 阅读 · 0 评论 -
alias 和 参数使用
以两个命令为例子:docker psdocker exec -it cid bashvim /root/.bashrc #添加alias dp=‘dokcer ps’dexec() {docker exec -it $1 bash}alias de=dexec# 这样是不行的alias ff='find / -name $1’#立即生效source原创 2018-01-31 10:43:18 · 3581 阅读 · 0 评论 -
nginx替换成openresty
安装wget https://openresty.org/download/openresty-1.11.2.2.tar.gztar -xzvf openresty-1.11.2.2.tar.gzcd openresty-1.11.2.2查看 nginx 编译选项:root@iZm5eabkgmsfy2phj5pr1xZ:/usr/local/src/openresty-1.11.2.2# n原创 2018-01-04 12:56:01 · 1929 阅读 · 0 评论 -
Nginx替换成 Openresty
安装 Openrestywget https://openresty.org/download/openresty-1.11.2.2.tar.gztar -xzvf openresty-1.11.2.2.tar.gzcd openresty-1.11.2.2查看 nginx 编译选项:root@iZm5eabkgmsfy2phj5pr1xZ:/usr/local/src/openresty-1原创 2018-01-03 15:50:49 · 5329 阅读 · 0 评论 -
Nginx转发服务给对应Docker中的 Phpfastcgi
环境:主机:centos7 nginxphp服务api位置:主机上 Docker 中php配置的映射端口: 127.0.0.1:9001~900xphp服务的入口文件路径: app-server/application请求Url格式:https://server-name/Info/XXXXXXXXXX ,https://server-name/Upload/XXXXXXXXXX 等Nginx原创 2017-11-27 11:30:14 · 2274 阅读 · 0 评论 -
Centos7下 更换 mysql5.6 默认物理存储位置记录
再上一篇 Centos 7 下基于 docker 的Mysql 主从配置记录之后,有个小需求没有完成,就是没有修改 默认物理存储位置。修改的配置文件:# 1 my.cnf master 和 slave 基本一样 ,修改 datadir 的 位置,socket 的位置[client]socket = /database/mysqld/mysqld.sock[mysqld]dat原创 2018-02-01 18:33:36 · 599 阅读 · 0 评论 -
Supervisor 从安装到使用
1 安装1.1 ubuntu系统 apt-get install supervisor1.2 pip pip install supervisor2 配置2.1 生成配置文件 echo_supervisord_conf > /etc/supervisord.conf2.2 启动 supervisord -c /etc/supervisord.conf2.3 修原创 2018-02-06 09:52:16 · 1741 阅读 · 0 评论 -
MongoDB占用内存定位和释放
问题:芒果占 Swap 占用超过50%1 Linux Swap 内存交换空间当 Linux 内存空间紧张的时候,Linux 通过直接内存回收 和 定期扫描的方式,来释放文件页 和 匿名页,以便把内存分配给更需要的进程使用。文件页回收即 清空,或者脏数据写盘,释放匿名页回收,即 Swap 写入磁盘中,下次使用时再从磁盘中取出 。查看swap 占用 :free -m查...原创 2019-07-09 10:03:00 · 4834 阅读 · 0 评论 -
ossfs 挂载oss 和遇到的一些问题
挂载记录1 在Ecs上 创建文件夹 /ossdata/macco 2 vim /etc/passwd-ossfsmacco:LTAIAxxxl:imEJQhxxxPs6nezIbucket : ID :Key3 ossfs 挂载 3 ossfs macco /statics/macco -ourl=oss-cn-hangzhou-internal.aliyuncs.com...原创 2019-01-23 10:08:59 · 3938 阅读 · 0 评论 -
用 awk 和 goaccess 分析nginx accesslog
awk 方式本文主要用这种方式实现 统计 access.log 超过 1s 的记录。思路:先用 awk 将每天切割的 nginx 日志生成自定义的分析结果文件 ,由 python 脚本处理,导入mysql :记录日期,慢Url 路径,慢Url 最短时间,最差时间,访问次数 ,是否修复 ,修复日期等,最后由前端进行展示。按天切割 Nginx 日志这里为了每天夜里只分析当天生成的nginx日志...原创 2018-10-09 15:54:31 · 758 阅读 · 0 评论 -
Solr 集群配置 DataImportHandler 导入
修改zk集群配置如同前文 部署Zookeeper 加 solr-cloud 群集一 部署Zookeeper 加 solr-cloud 群集二 中 zk 统一管理集群 colelction 下所有 core 的方法,修改 一个solrhome 下的 conf 中的 下面三个文件 solrconfig.xml1 添加 mysql-input 的 lib 引用 <li...原创 2018-04-20 11:30:34 · 780 阅读 · 1 评论 -
分布式Solrcloud 下 Ik分词的部署
单机Solr Ik分词的部署和群集还是稍有不同的。这里我默认读者知道单机版的Ik部署方法了修改 zookeeper 的配置文件修改任意一个 zookeeper 节点 的 配置文件,在 </schema> 节点前添加 <fieldType name="text_ik" class="solr.TextField"> <analyze...原创 2018-04-18 18:37:33 · 969 阅读 · 0 评论 -
Zookeeper 加 solr-cloud 实现Solr群集
真分布式zookeeper环境,非伪环境群集,附加solr集群环境下,ik分词的添加环境和下载包准备下载包Jdk8Tomcat8Solr7Zookeeper3.4.10环境zookeeper 最好是奇数节点的大于3台的服务器,我这里用到了两台服务器,实际上这样是有问题的,我后面会说到,然后节点是4个tomcat ,首先搭建 zookeeper 然后 部...原创 2018-04-18 18:06:24 · 1146 阅读 · 0 评论 -
在Linux上搭建solr单机版
一次简单的Linux 上的 solr 部署,记录一下1 软件包准备如果你的部署环境 solr<=4 那么可以移步了,我只用过>5的,其中的差异本文没有介绍,本文只针对 solr>5。 我的环境: 1 Jdk8 2 tomcat8 3 solr7分别下载好,准备后面使用2 把 solr 部署到 tomcat 下刚刚的文件都上传,或者你 wegt ...原创 2018-04-17 18:06:51 · 833 阅读 · 0 评论 -
初探——内存读写内核达到提权
起因:一个Ubuntu 16.04 提权漏洞的修复漏洞概况:这次的 EXP 在于Linux内核带有的eBPF bpf(2)系统调用中,当用户提供恶意BPF程序使eBPF验证器模块产生计算错误,导致任意内存读写问题。 非特权用户可以使用此漏洞获得权限提升。漏洞重现自己有很多Centos的服务器,唯一一台Ubuntu的还是4.4.0 -117的,所以向朋友借了一台服务器,刚刚好是4.3...原创 2018-03-19 18:09:18 · 2599 阅读 · 0 评论 -
负载均衡下如何获取客户端IP
看看 Nginx 配置负载均衡负载均衡方向代理,可以避免服务器压力。中间服务器选择集群中的其他服务器。Nginx.conf http 模块# nginx.conf 中upstream imacco{ server 192.168.0.1:10001 weight=3 max_fails=2 fail_timeout =30; server 192.168.0.2:1...原创 2018-03-15 18:28:49 · 3037 阅读 · 0 评论 -
Ubuntu 下 Crontab 不生效
添加了 Crontab 命令 #发现没有生效*/2 * * * * /usr/local/bin/node /home/wwwroot/nodeProject/addView.js 排查步骤#检查是否已经开启 cronsudo service cron status#cron start/running, process 23719# 重启服务 cronsudo service cr原创 2017-12-04 11:37:46 · 8467 阅读 · 0 评论 -
递归修改当前目录下所有文件/文件夹3个时间戳
Touch命令:1 命令功能: 创建文件和修改文件或者目录的时间戳2 命令语法: touch 【选项】 【文件名或者目录名】3 命令参数: -a 只修改文件的access(访问)时间. -c 或--no-create 不创建不存在的文件。 -d 使用指定的日期时间,而非现在的时间 -m 指修改Modify(修改)时间,而不修改access(访问)时间原创 2017-11-29 17:06:52 · 4908 阅读 · 0 评论 -
mac ssh 断开连接
OpenSSH基于安全的理由,如果用户连线到SSH Server后闲置一段时间,SSH Server会在超过特定时间后自动终止SSH连线。可以在两个方面进行处理,这里针对mac和linux提出从客户端和服务器端解决的两种办法1 。服务器端 打开ssh配置文件:# vim /etc/ssh/sshd_config加入如下两个参数保存就可以:TC原创 2016-07-07 10:56:12 · 5003 阅读 · 0 评论 -
ubuntu 创建新的用户和用户组 以及新用户无法使用bash的问题
主要目的:创建新用户组,并在组中创建用户,但是使用这些账户登录时候遇到了,无法使用 sudo命令,无法使用 shell相关,类似。补全,高亮等问题。首先创建命令:groupadd 2001useradd -g 2001 zwb 修改zwb的密码 passwd zwb[问题 :]1 发现登录后 无法使用 sudo命令原创 2016-07-05 14:34:14 · 12148 阅读 · 0 评论 -
Linux 中的标准输出
linux中的三种基本的输入输出 输入输出 含义 对应数组 STDIN 标准输入 0 STDOUT 标准正确输出 1 STDERR 标准错误输出 2- 将正确的(STDOUT ==1) >> 非重写覆盖到 /find.outxxxxxxsiwei@ubuntu:~$ find /etc -name passwd 1>>./find.outxxxx原创 2017-03-24 10:34:45 · 817 阅读 · 0 评论 -
configure: error: Cannot find php-config. Please use --with-php-config=PATH 错误的解决方案
configure: error: Cannot find PHP-config. Please use --with-php-config=PATH一般出现这个错误说明你执行 ./configure 时 --with-php-config 这个参数配置路径错误导致的。修改为:./configure --with-php-config=/usr/local/php/bin/php转载 2017-01-21 11:38:36 · 39905 阅读 · 2 评论 -
用samba配置windows访问虚拟机/linux上的文件
简单几步让samba配置windows访问虚拟机/linux上的文件。安装服务:$ sudo apt-get install samba备份待会儿要修改的conf文件:$ sudo cp /etc/samba/smb.conf /etc/samba/smb.conf.bak编辑conf文件:$ sudo vim /etc/samba/原创 2017-02-28 15:20:22 · 3750 阅读 · 0 评论 -
centos7 下 安装php 7的记录
1 先查看自己的centos版本 cat /etc/centos-release2 卸载之前安装的php版本 ,可能需要执行多次 yum remove php* php-common 3 安装对应的php7源rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm 4 安装原创 2016-12-16 12:07:20 · 1009 阅读 · 0 评论 -
特殊字符<200b><200c><200d>的删除办法与原理
今天遇到一个很神奇的bug一段描述字段,很长一段,中间有如下的字符这个是在vim 下看到的但是在php中打印和使用cat看到的情况如下:这就很神奇了,所以肉眼看不见尝试解决办法:str_replace 发现没用。解决办法:$value = str_replace("\xe2\x原创 2017-01-06 12:00:44 · 20279 阅读 · 1 评论 -
centos7上安装docker以及一些小问题
1 首先更新系统包到最新 yum -y update2 添加 yum 仓库# cat >/etc/yum.repos.d/docker.repo <<-EOF[dockerrepo]name=Docker Repositorybaseurl=https://yum.dockerproject.org/repo/main/centos/7enabled=1原创 2016-11-17 17:30:39 · 1787 阅读 · 0 评论 -
Centos7上使用pip安装docker-compose
概念梳理:1 docker-compose : compose是用来在docker中定义和运行复杂应用的小工具,比如在一个文件中定义多个容器,只用一行命令就可以让一切就绪并运行2 EPEL扩展源 :EPEL(http://fedoraproject.org/wiki/EPEL) 是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux原创 2016-11-18 09:46:58 · 4475 阅读 · 0 评论 -
vi命令删除某行至某行,删除某行至结尾
用到两个命令 。1 删除xx行至xx行。: 1,10d命令解释:删除第一行到第10行2 直接跳转到文件结尾行按下大写的g --- G在文尾输入: 1,.d命令解释: 删除从第一行到本行,即删除第一行到结尾原创 2016-09-21 09:27:54 · 33036 阅读 · 2 评论 -
WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 解决办法
修改了服务器的磁盘实例之后 用终端重新ssh 服务器 出现了 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 的错误。解决办法如下:其实就是,存在终端的登陆信息与实际不符了,把之前存的登陆信息删除即可。vim ~/.ssh/known_hosts删除你要ssh 的主机的相关信息即可。原创 2016-09-21 10:47:50 · 809 阅读 · 0 评论 -
电商秒杀场景的解决策略与具体实现方案
问题场景:某电商网站,po了一个活动宣传活动,3月8号,1元秒杀iphone7 ,限量10台,看你手速哦,快来抢吧。广大吃瓜群众:程序员: 程序员说 受不了 怎么办? 短时间的大访问量 网站服务器 同网站,不同项目部署,/独立域名 避免对网站造成影响 高并发问题,不停刷新 数据库 页面静态化 带宽 200k的页面 并发1w次 ,带宽为2G 带宽 秒杀原创 2017-05-24 20:46:01 · 9054 阅读 · 1 评论 -
Sphinx 实现海量数据的快速查询
说到 Sphinx,就会想到:站内搜索,mysql优化,分词 等等有关搜索海量数据的需求,本文介绍了 sphinx的基本概念、安装、和一个联系动态语言实现大数据海量查询的实例。1. Sphinx的基本概念Sphinx 是一个 全文检索引擎。意图为其他应用提供 高速、低空间占用、高结果相关度 的全文搜索功能。Sphinx 可以非常容易的与 SQL 数据库和脚本语言集成。当前系统内置 MySQL 和 P原创 2017-05-22 10:37:32 · 98858 阅读 · 2 评论