bushiyao_的专栏

生产者推送消息使用消息发送确认Confirm，通过回调的confirmCallback和returnCallback来控制消息的一致性和处理异常补推情况；消息队列存储使用持久化存储，队列交换机创建时durable属性设置为true，消息投递模式deliverymode设置为2，标记消息持久化；消费者使用手动确认消息模式，在消息处理完成后手动确认通知服务器消息完成；MQ会出现多名消费不均匀分发任务情况；...

场景项目 postgres 连接不上， 所有连接报错 ：psql: FATAL: sorry, too many clients already原由程序使用连接未及时释放， 连接一直处于 idle 状态处理方式1、 程序里面未释放的连接， 在使用后及时释放；2、 postgres 连接数默认最大 100个，在配置文件修改该参数；postgres.conf max_connection = 1000 修改后重启生效；3、 postgres 设置 idle 状态连接回收， 该状态默认不开启；p

简述npm 在使用过程中，下载速度可能会过慢，可以选择安装 nrm 来测试和切换镜像选择；安装 nrmnpm install nrm -g查看镜像列表nrm ls测试镜像访问速度nrm test npmnrm test taobao可以看出使用 taobao 的请求时间最快####### 切换镜像源nrm use taobao切面有 * 标识， 代表当前已使用该镜像地址...

简述mongo tools 自带的导入导出工具，导出可选为json文件方便进行数据处理mongoimport 参数使用h,--host ：代表远程连接的数据库地址，默认连接本地Mongo数据库；--port：代表远程连接的数据库的端口，默认连接的远程端口27017；-u,--username：代表连接远程数据库的账号，如果设置数据库的认证，需要指定用户账号；-p,--password：代表连接数据库的账号对应的密码；-d,--db：代表连接的数据库；-c,--collection：代表连接数

背景flask 运行起来默认外网无法测试访问操作启动时加上ip端口参数处理python3 manager.py runserver --host=0.0.0.0 --port=5000注意！：关闭防火墙systemctl stop firewalld.service

应用场景docker 重启导致应用全部停止， 需要手动一个个启动改动docker container update --restart=always 容器名称成果重启docker后， 容器自启动

概述mongo数据防止插入重复， 创建唯一索引， 插入时判断异常操作db.tt2.ensureIndex({'name':1},{unique:true})测试程序#!/usr/bin/env python# -*- coding:utf-8 -*-from pymongo import MongoClientconn = MongoClient('192.168.38.94', 27017)db = conn.mydb# my_set = db.test_setmy_set =

简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等主要应用场景是：日志收集系统和消息系统。快速搭建测试这里使用的docker进行快速构建服务测试# 拉取基础镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka# 启动zookeeperdocker

钉钉自定义预警接入-php业务场景企业内部数据异常预警频率限制每个机器人每分钟最多发送20条。如果超过20条，会限流10分钟。机器人添加需要在PC端后台添加机器人，设定安全设置： IP段限制，关键字限制，签名限制代码测试1、IP段限制直接针对IP接口限制，代码里面没有标识<?php function request_by_curl($remote_server, $post_string) { $ch = curl_init(); curl_setopt

记录最近用到的mysql操作数据导出导出整个数据库结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database > database.sql导出单个数据表结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database table > table.sql导出整个数据库结构 // -d 等于 --no-datamysqldump -h 127.0.0.1 -uroot -p123456 -d data

host_env="new line"newline=5line=$(sed -n '/line/=' a.ini)echo $line#sed -i "${line}d" a.inised -i '/^new/d' a.inised -i "${newline} a\\${host_env}" a.ini

在CentOS 6.5 x86_64下 yum makecache 报错Error: Cannot retrieve metalink for repository: epel. Please verify its path解决方法：修改 /etc/yum.repos.d/epel.repo

报错今天在查询 mongo 过程中一直报错：：Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit., full error: {'ok': 0.0, 'errmsg': 'Executor error during find command:

最近用到 mongo批量去重插入， 记录一波import osimport psycopg2import timeimport threadpoolimport gcimport pymongofrom pymongo import UpdateOnemyclient = pymongo.MongoClient("mongodb://127.0.0.1:8080/")mydb = myclient["test1"]["tt1"]data = [{"aa":11, "bb": 22},

win10 使用虚拟机共享文件夹挂载失败， 报错：unknown filesystem type 'vmhgfs'最终使用：vmhgfs-fuse .host:/ /mnt/hgfs

docker for windows挂载目录报错需要先设置共享目录 然后进行挂载1、设置共享主目录 小鲸鱼=> setting =>shared Drives =>选择 =>应用2、启动挂载 docker run -dit -v D:/data:/data --name newDocker docker-image3、查看状态 docker ps -a4、进入docker 操作 docker exec -it newDocker bash...

Linux 负载查看使用 top 命令，然后按1可以显示cpu核数：我这里展示的 cpu 核数为 1核， load值为 0.1图中 load 值展示了3个数据， 分别为最近 1分钟、5分钟和15分钟的平均负载显示Linux 负载计算根据cpu核数来进行计算：load值 > 1 * CPU核数 则为负载cpu 核数为 1时，load值超过1则为负载cpu 核数为 2时，load值超过2则为负载;...

查看7天前的LOGfind /home/www/ -name '*.log' -and -mtime +7清理7天前的 logfind /home/www/ -name '*.log' -and -mtime +7 -type f |xargs rm

测试服务器 强力负载原因查找1、top 查看整体负载情况top 可以查看1核1G 服务器， load ： 20+2、查找cpu占用率最高的N个进程ps auxw | head -1;ps auxw |sort -rn -k3 |head -113、 根据内存使用定位ps auxw |sort -rn -k4 |head -11...

简述docker 安装 win 版本，镜像容器使用正常， 但是重启时偶尔会遇到端口报错：原因win 重启时 docker 环境没有完全清理，端口占用处理手动右键图标关闭 docker 应用。从任务管理器找到 com.docker.backend.exe 进程， 重新启动。最后再启动 docker 应用。安全降落...

前置最近有项目用到 RabbitMQ， 有点不晓得其他都直接跑Kafka， 这个量也不小，为什么跑一堆RabbitMQ。根据需求原则， 那就上吧。注意现在使用的大部分是依赖 erlang 的，所以重点来了： 千万要注意安装的系统 + RabbitMQ + erlan 版本！！ 不然就会太多的无用功安装如果使用 yum 进行安装，这个属于最方便的， 提前先新建依赖文件，在里面指定erl...

Apache与Nginx的优缺点比较nginx相对于apache的优点：轻量级，同样起web 服务，比apache 占用更少的内存及资源抗并发，nginx 处理请求是异步非阻塞的，而apache 则是阻塞型的，在高并发下nginx 能保持低资源低消耗高性能高度模块化的设计，编写模块相对简单社区活跃，各种高性能模块出品迅速啊apache 相对于nginx 的优点：rewrite...

1、 mysql文件夹权限，  设置  mysql:mysql 所属2、 ps -ef | grep mysqld   查看mysqld进程   然后用 kill -9  消灭进程3、  我的一直报错  update pid 问题启动会报错Starting MySQL.. ERROR! The server quit without updating P

http://subversion.tigris.org/downloads/subversion-1.6.6.tar.gz 和 http://subversion.tigris.org/downloads/subversion-deps-1.6.6.tar.gz 1./configure --prefix=/opt/svn --without-berkeley-db --with-z

shell编程（二） 二 变量5 位置参数变量 $0  命令自己$1   第一个参数$2 第二参数$9 第九个参数例2：输出位置参数变量，脚本后要接参数#!/bin/bash echo "the  command  is  $0"echo "canshu1  is  $1"echo "canshu2 is $2" 6 预定义变量

shell编程（三） 四 条件测试 test  测试条件  测试内容[ 测试条件  测试内容 ] 1 测试文件类型 test  -e  文件名 测试文件是否存在，存在为真[  -e 文件名  ] 注意：[]中必须有空格 test  -f  文件名 判断是否是普通文件test  -d  文件名 判断是否为目录test  -b  文件名 判断是否

五 流程控制2 for语句 1） 使用in关键字循环根据变量的不同取值，重复执行一组命令操作格式：for  变量名  in  取值列表do      命令序列done  例子11：循环#!/bin/bash for time in morning noon afternoon evening        do          

shell编程（一） 一 shell简介1 概念命令解释器2 常见shell bash linux标准shellsh 早期shell，较简单csh ksh tcsh unix  shell vi  /etc/shells linux支持的shell 3 shell脚本 例1：打印时间#!/bin/bashecho "hello wor

Linux crontab 命令介绍语法介绍使用权限 : root用户和crontab文件的所有者

系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info...

先明确几个概念：1、系统负载System load ：系统CPU繁忙程度的度量，即还有多少个进程等待CPU的调度2、平均负载load average ：一段时间内的平均负载，这个一段时间一般取1分钟、5分钟、15分钟查看命令如下：命令1： top查看上图可以看出当前时间 09：28：12系统已运行的时间 180 days, 22：43当前在线用户 1 user1分钟的平均负载是...

代理服务器代理服务器就是位于发起请求的客户端与原始服务器端之间的一台跳板服务器，正向代理可以隐藏客户端，反向代理可以隐藏原始服务器。正向代理假如你常用的电脑想通过google搜索一个关键词“hello world”，但是国内现在不允许访问google一下，所以你访问不了。但，假如你现在有一台国外服务器可以访问google，于是出现了这种情况：我的电脑访问这台服务器，然后这台服务器去帮...

功能高并发时，可以能有效的支持前置event 扩展环境要求 php >= 5.4event 扩展依赖 libevent 库安装 libevent 库安装 event 扩展注意： event 扩展编译时需要添加php-config 和 libevent库最后在 php.ini 文件中添加 extension=event.so重启php-fpm ， 用 php -m ...

server { listen 82 default_server; listen [::]:82 default_server; root /var/www/test/trie/demo/; # Add index.php to the list if you are using PHP location / {...

说明：swoole只能用在LInux，macos系统上，不能用作Windows系统上2.0.12版本开始不再支持PHP5编译安装适用于php5.3以上版本centOS中：在此网站http://pecl.php.net/package/swoole选择合适的版本，我用的是1.10.5#wget http://pecl.php.net/get/swoole-1.10.5.tgz#ta...

1、下载最新源码，解压缩后编译源码。$ wget http://download.redis.io/releases/redis-5.0.4.tar.gz$ tar xzf redis-5.0.4.tar.gz$ cd redis-5.04$ make // 生成 src 文件夹， redis.conf 文件$ make install // 脚本会指向 src 文件并执行安装...

// linux 统计文件中字符串出现次数// 并且打印出现次数大于0次的文件名和出现次数for i in a.*;do num=$(grep '1' $i | wc -l) ; [ $num -gt 0 ] && echo "$i -- $num"; done;...

简述连接池的作用就是为了提高性能。连接池的作用：连接池是将已经创建好的连接保存在池中，当有请求来时，直接使用已经创建好的连接对数据库进行访问。这样省略了创建连接和销毁连接的过程。这样性能上得到了提高。原理和使用基础原理建立数据库连接池对象（服务器启动）。按照事先指定的参数创建初始数量的数据库连接（即：空闲连接数）。对于一个数据库访问请求，直接从连接池中得到一个连接。如果数据...

ActiveMQ 简述ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。ActiveMQ 采用消息推送方式，所以最适合的场景是默认消息都可在短时间内被消费。数据量越大，查找和...

FastCGI模块模块允许nginx同FastCGI协同工作，并且控制哪些参数将被安全传递。一、CGI和FastCGI简介1、什么是CGICGI 是Web 服务器运行时外部程序的规范接口，按CGI 编写的程序可以扩展服务器功能。CGI 应用程序能与浏览器进行交互，还可通过数据库API 与数据库服务器等外部数据源进行通信，从数据库服务器中获取数据。格式化为HTML文档后，发送给浏览器，也可以将...