- 博客(61)
- 资源 (2)
- 收藏
- 关注
原创 各大主流消息中间件
在了解消息中间件之前,首先了解两个基本概念Message和Queue。 Message :消息“消息”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。 Queue:消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。队列的主要目的是提供路由并保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到可以成功地传递它。 消息队列的主要特点是异
2020-08-25 15:32:03
11673
原创 kafka新旧大版本 共用一个zookeeper,如何使用命令行?
在本文中,我以两个kafka共用一个zookeeper,并且两个kafka版本分别是新旧版本中的典型。新旧版本中,以1.1 和 0.8 为例,下文是详细说明: 1.1 版本kafka config/server.properties配置 注意: zookeeper.connect zookeeper.connect,注意,在路径后面,我指定本kafka集群使用zookeeper中/kafka2节点。 # vim config/server.properties broker.id=1 listeners
2020-06-01 10:18:59
1168
原创 mysql yum安装,密码重置及权限刷新
1,获取安装包 wget http://repo.mysql.com/mysql57-community-release-el7.rpm 或者去官网下载 2,安装 rpm -ivh mysql57-community-release-el7.rpm 3,如果systemctl start mysqld正常启动 #查看初始密码 grep ‘password’ /var/log/mysqld.log ...
2020-03-21 11:44:48
301
原创 logstash离线插件 logstash-filter-ruby 获取及安装
示例:logstash6.8.0 版本 ruby过滤插件 logstash-filter-ruby 1,在联网环境下检查logstash插件 2,安装logstash-filter-ruby插件,如果上一步发现插件存在,则跳过 出现installation successful,说明安装成功 3,插件检查 进入插件目录:logstash-6.8.0/vendor/bundle/jruby/2...
2020-03-13 14:49:44
1022
原创 logstash + influxdb
1,安装logstash output influxdb的插件 官网插件下载地址: https://www.elastic.co/guide/en/logstash/current/output-plugins.html 官网influxdb output配置介绍: [https://www.elastic.co/guide/en/logstash/current/plugins-outputs-...
2020-01-09 10:27:37
2416
原创 kibana,ES可视化管理工具部署指南
1,请下载与es版本对应的版本包 例如:kibana-6.4.3-linux-x86_64.tar.gz,与es6对应 2,解压缩,重命名 tar -zxvf kibana-6.4.3-linux-x86_64.tar.gz mv kibana-6.4.3-linux-x86_64 kibana 3,修改配置文件kibana.yml cd ./kibana/config/ vi kibana.ym...
2019-12-31 17:04:45
492
原创 ES--索引生命周期管理
1,为什么要对elasticsearch进行生命周期管理? ES索引存活数量过多,会给ES集群带来较大压力,不仅严重影响数据录入和数据查询效率,而且导致磁盘、CPU占用比过高,加大节点“驾崩”的风险。对ES进行索引生命周期管理意义重大,不仅能提高服务器性能,降低内存和磁盘使用率,而且能够优化数据结构,提升读写、查询效率,避免数据丢失情况出现。 2,如何对elasticsearch进行生命周期管理?...
2019-12-31 14:23:20
2391
1
原创 influxDB使用
登录 influx -host ‘xxx’ -port ‘5260’ 或者直接influx 创建数据库 create database test 删除数据库 drop database test 跳转数据库 use xk_name 查询数据库策略 show retention policies on “test” 查询表 SHOW MEASUREMENTS 删除表 drop measureme...
2019-12-17 17:19:19
204
转载 ES与传统数据库,为什么用ES?
一、简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口操作ES,也可以利用Java API。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 我们建立一个网站或应用程序,...
2019-12-17 17:05:36
5694
转载 redhet7.6配置centos7.2 yum源、epel源
查看redhet系统版本:cat /etc/redhat-release 配置yum源 查看是否有: rpm -qa |grep yum 有则删除:rpm -qa |grep yum | xargs rpm -e --nodeps 再次检查确认:rpm -qa |grep yum,返回空 确保 /etc/yum.repo.d/文件夹清空 联网环境: 下载yum源依赖包 wget http://m...
2019-06-25 10:24:22
515
原创 Django总结
Django 千锋培训视频 https://www.bilibili.com/video/av17879644/?p=1 Django 千锋培训读书笔记 https://www.bilibili.com/video/av17879644/?p=1 Django web开发资料 一、基础概念 1、C/S(client/server)、B/S(browser/server) client ...
2019-06-10 15:11:49
606
原创 elasticserach部署与应用
1,es安装 elasticsearch用三rpm、zip、tar.gz等多种安装包,不管哪种,解压即可 例:tar zxvf /data/elasticsearch-5.1.2.tar.gz 2,配置 2.1 添加用户 useradd elasticsearch 输入密码 2.1 为普通用户添加权限 chmod 777 -R /data/elasticsearch 2.3编辑elastics...
2019-06-10 15:07:39
192
原创 轻松装sqlserver for linux--centos7
sqlserver linux安装 1,环境centos7.2以上,2 GB+ 的内存 2,rpm安装包下载:https://packages.microsoft.com/rhel/7/mssql-server-2017/ 3,下载并上传到linux环境下 rpm -ivh mssql-server-14.0.1000.169-2.x86_64.rpm 提示缺依赖包,则把包补全 4.rpm -...
2019-05-31 14:55:35
5117
原创 centos7离线yum源配置
1,下载相关文件 yum源链接地址:http://mirrors.ustc.edu.cn/ 下载centos7推荐: centos/7/os/x86_64/ centos/7/updates/x86_64/ 下载centos7-epel推荐: epel/7/x86_64/ debug/ epel/7/x86_64/ repodata/ 下载方法: 1,找一台联网的虚拟机或者服务器,安装rsync ...
2019-05-23 11:25:50
3701
5
原创 ansible整理
https://www.w3cschool.cn/automate_with_ansible/automate_with_ansible-atvo27or.html w3c学院的链接,可以从理论上及实践上全方位了解 https://www.cnblogs.com/wzhuo/p/7128502.html http://blog.51cto.com/amelie/2049108 写的好的使用手册 ...
2019-05-14 16:34:18
179
原创 html5快捷操作
1.初始化 “!”或“html:5”,然后按Tab键,快速生成HTML5格式,比如<html>、<head>、<body>等 2.快速添加标签 p.list#3 + tab补齐,快速生成 <p class="list" id="3"></p> " . "对应class类 # 对应id h1{一级标题}
2019-05-14 16:33:26
883
转载 postgresql部署配置与简单应用
部署: 安装:yum install postgresql postgresql-server 启动: /sbin/service postgresql start 初始化(库中有内容无法初始化): postgresql-setup initdb 卸载:yum remove postgresql postgresql-server 配置: 1.找到/var/lib/pgsql/data/pg_h...
2019-05-14 16:30:44
435
原创 爬虫:Python2
1,python2简单爬虫解析 URLopen参数解析: url, 统一资源定位符 data=None,如果为None get/否则是post timeout=超时 request参数解析: Accept: text/plain, */*; q=0.01 # 接收类型 Accept-Encoding: gzip, deflate, br # 接收的压缩类型, 做爬虫的时候一定不加 Acce...
2019-05-14 16:20:22
217
原创 opennms网络监控windows部署
第一步:安装jdk 第二步:安装postgressql 第三步:安装opennms bug:162端口占用问题 在opennms/etc下, 找到trapd_configuration.xml,修改snmp端口,160 启动
2019-05-13 16:35:57
3594
原创 raise抛出异常与try - except的使用
1、直接抛出异常,程序停止,不会打印is here s = None if s is None: raise NameError print ('is here?') # 如果不使用try......except这种形式,那么直接抛出异常,不会打印is here 2、try except 捕获异常 try: s = None ...
2019-04-18 17:08:44
261
转载 INFLUX数据库的使用
登录 influx -host ‘192.168.1.201’ -port ‘5260’ 创建数据库 create database test 删除数据库 drop database test 跳转数据库 use xk_name 查询数据库策略 show retention policies on “test” 查询表 SHOW MEASUREMENTS 删除表 drop measurement ...
2019-03-29 11:11:37
323
翻译 golang安装问题
1、准备go安装包 源码安装:进入:https://studygolang.com/dl/golang/go1.12.linux-amd64.tar.gz,下载源码包 centos:yum install golang Ubuntu:sudo apt-get install golong 推荐源码安装,版本可控性高 2、选择安装路径 由于go默认路径在/usr/local下, 所以解压的时候注意路...
2019-03-16 19:20:56
263
翻译 python WEB之Django,Flask,Bottle
1,Django Python 界最流行的 web 框架,据说,在2018年下半年,已被Flask超过。 1998年,最流行的网站开发方式是CGI,简单理解为代码写在一个文件中,打包成CGI格式包并放在服务器,用户即可访问。 2003年,创建者是为了快速制作并维护新闻站点(新闻普遍追求高效率,有时限性),将开发过程重复性工作简化,减少开发过程中出错几率,并降低维护的难度,就诞生了Django。 D...
2019-03-13 15:07:45
2735
原创 python process:进程
了解进程 进程是系统进行资源分配和调度的基本单位,是操作系统结构的基础。在早期面向进程设计的计算机结构中,进程是程序的基本执行实体;在当代面向线程设计的计算机结构中,进程是线程的容器。程序是指令、数据及其组织形式的描述,进程是程序的实体。 进程的概念主要有两点:第一,进程是一个实体。每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region)、数据区域(data region...
2019-03-01 14:29:52
1641
原创 python Thread:线程
了解线程 线程(纤程),也叫轻量进程(Lightweight Process,LWP),是程序执行流的最小单元。一个标准的线程由线程ID,当前指令指针(PC),寄存器集合和堆栈组成。另外,线程是进程中的一个实体,是被系统独立调度和分派的基本单位,线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程,同一...
2019-03-01 14:29:32
507
原创 学习linux之ubuntu
虚拟化和虚拟机 虚拟化: 也就是将一台物理机划分成n逻辑的计算机,最大限度的榨干计算机的性能 docker openstack kvm 虚拟机: 实现虚拟化的一种技术 windows: vmware workstation virtual box mac :parallels desktop 二、系统安装 国内镜像(https://mirrors.aliyun.com/) ubuntu16.04....
2019-02-28 11:30:43
360
转载 linux 软硬链接
Linux 系统中有软链接和硬链接两种特殊的“文件”。 软链接类似Windows中的快捷方式,可以快速链接到目标文件或目录。 硬链接则透过文件系统的inode来产生新文件名,而不是产生新文件(即通过新的文件名来使用源目录下的文件,硬链接与源文件inode号相同)。 命令创建: 软链接(Symbolic Link) ln -s source(file or folder or nothing) ...
2019-02-27 17:16:17
148
转载 PYTHON学习之---匿名函数,返回函数,偏函数
PYTHON学习之—匿名函数,返回函数,偏函数 返回函数: 所谓的返回函数,指的是函数作为返回值。高阶函数除了可以接受函数作为参数外,同样可以接受函数作为结果返回。以下是一个可变参数的求和例子,一般求和函数是如此这般定义的: 复制代码 1 &gt;&gt;&gt; def sum(*args): 2 … ax = 0 3 … for x in args: 4 … ...
2018-11-06 18:42:57
202
原创 python : linux安装fbprophet的脚本
在python中,使用fbprophet进行时间预测,需要安装好多第三方包,比较麻烦的是,好多包有依赖关系,安装的时候错误频发,为了方便使用,特制作批量安装脚本(本包也适合与离线环境部署) 第一步: 创建一个空文件夹/Downloads/test 把所需要的包下载好之后放入这个文件夹 本人文件夹内容如下: #因为大部分压缩包均为setup.py安装方法,所以需要安装setuptools setup...
2018-11-06 18:40:06
2061
翻译 linux操作系统简介与发展史
一、系统简介 操作系统是电脑的关键,管理电脑软硬件资源,直接运行在裸机上的,其他软件都必须在操作系统上运行 操作系统分类 桌面操作系统:windows、linux(ubuntu、centos、rehat、debian)、mac os 、中标麒麟 移动端:android、symbian、ios、winphone、blackberry 服务器端:windows nt、os server 、rehat、...
2018-11-05 18:36:21
3476
翻译 git的使用
1.git简介 workspace 工作区 index 暂存区 repository 本地版本库 remote 远程仓库 2.常用git命令 sudo apt-get install got 安装 git --version 查看版本 git config -l 查看配置信息 修改name和email git config --global user.name ‘admin’ git conf...
2018-11-05 18:18:25
128
原创 linux之pycharm安装
1,添加源 $ sudo add-apt-repository ppa:mystic-mirage/pycharm 2,安装 收费的专业版: $ sudo apt update $ sudo apt install pycharm 收费版破解 路由 http://idea.imsxm.com/ (用专业版理由:部分功能社区版不支持) 安装免费的社区版: $ sudo apt update...
2018-11-05 18:08:38
172
原创 linux(Ubuntu)安装Python3.6
目前,ubuntu自带Python2.7,但Python2,python3不兼容,那么就需要安装了 推荐两种方法: 1,用apg-get安装 sudo apt-get update sudo apt-get install software-properties-common #更新源 sudo add-apt-repository ppa:jonathonf/python-3.6 sudo ap...
2018-11-05 17:59:49
850
翻译 Coroutine:协程
协程 协程,又叫微线程、纤程,可以认为是比线程更小的执行单元。协程自带CPU上下文,这样只要在合适的时机,我们可以把一个协程切换到另一个协程,只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。 通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都...
2018-10-30 18:46:20
192
原创 fbprophet安装
facebook开源了时间序列预测框架prophet,目前支持R语言和python语言。 那么,如何使用呢,在这里推荐一种方法: 一:安装anaconda 原因:prophet安装包一般需要与numpy,pandas,matplotlib一起使用,并且使用pip安装fbprophet时容易出错 import pandas as pd import numpy as np from fbprophe...
2018-10-19 17:18:51
2140
3
翻译 python2和python3的对比
性能 python3.x的效率低于python2.x, 但是python3.x有极大的优化空间, 正在追赶 编码 python2.x 当直接输入汉字的时候, 系统会报错"SyntaxError: invalid syntax" python3.x 源码文件使用utf-8编码,使得变量名更为广阔 当直接输入汉字的时候, 系统不会报错 语法 关于不等于 python2.x: 可以使用"<>...
2018-10-19 11:36:10
290
原创 Python正则表达式:re模块
正则表达式: 使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串正则表.通常被用来检索、替换那些符合某个模式(规则)的文本.python自1.5起提供了re模块,它提供了perl风格的正则表达式. re模块简介 re.match函数 功能 尝试从字符串的起始位置开始匹配一个模式,如果不是起始位置匹配成功的话,match()就返回None 原型 re.match(pattern,st...
2018-10-19 09:12:27
218
原创 二叉树之遍历:广度遍历与深度遍历
二叉树,是Python重要的数据结构,依次获取二叉树的所有节点,就需要用遍历的方法来实现. 广度遍历 对每一层节点依次访问,访问完一层进入下一层,而且每个节点只能访问一次。以下图为例,我们要遍历A,第一层遍历BCDE,第二次遍历FGHI,第三层遍历JKLM. 需要用到队列(Queue)来存储节点对象,队列的特点就是先进先出. 深度遍历 对每一个可能的分支路径深入到不能再深入为止,而且每个节点只能...
2018-10-18 13:39:49
498
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人