manmanpa的博客

原创 极客时间es学习笔记

sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-composemkdir 7.x-docker-2-es-instances在执行Dockerfile时出现Get https://registry-1.docker.io/v2/错误的解决方案_weixin_43414429的

原创 es7安装

es7需要linux内核要4.0以上https://jingyan.baidu.com/article/4e5b3e197cdab4d0901e24ff.html安装docker​​​​​​Ubuntu Docker 安装 | 菜鸟教程systemctl start dockervim /etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft noproc 65536* hard noproc 65

原创 elk生产问题之kibana修改密码

kibana修改密码失败右下角报错显示索引只读后续将只读索引置为false，密码即可重置命令待补充后来想起是因为之前es集群的数据容量超过了高水位导致

转载 reindex的速率提升

1、reindex的速率极慢，是否有办法改善？以下问题来自社区：https://elasticsearch.cn/question/3782reindex问题1：reindex和snapshot的速率极慢，是否有办法改善？reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindex/snapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了reindex和snapshot的速率？reindex

原创 es打快照到hadoop遇到的问题

1打快照时出现错误 timeout和其他同事沟通得知，最近添加了万兆网卡，而且hadoop进行了扩容解决方案先把扩容机器加到/etc/hosts，再在es建仓库时加上参数use.datanode.hostname.true

原创 python算法

242. 有效的字母异位词难度简单给定两个字符串s和t，编写一个函数来判断t是否是s的字母异位词。示例1:输入: s = "anagram", t = "nagaram"输出: true示例 2:输入: s = "rat", t = "car"输出: false说明:你可以假设字符串只包含小写字母。进阶:如果输入字符串包含 unicode 字符怎么办？你能否调整你的解法来应对这种情况？class Solution: def ...

原创 - es查看ssl证书

原创 elk生产问题之kafka问题记录

我们公司的日志云集群依赖的kafka集群有6个brokers,最近添加了对brokers的监控，总是触发brokers少于6的告警，于是进行排查1、登录kafka manager页面查看，发现确实有个brokers时有时无2、猜测是full gc ，查看kafka日志后发现确实如此cat kafkaServer-gc.log.4.current|grep -E 2021-03-03T|grep "Full GC"|tail -103、查看kafka的查看启动配置文件，发现堆内存配置...

原创 9、Python培训 Python 函数

函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。定义一个函数你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以def关键词开头，后接函数标识符名称和圆括号()。 任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。...

原创 9、Python培训 文件I/O 以及OS模块操作文件/目录方法

本章只讲述所有基本的 I/O 函数打印到屏幕最简单的输出方法是用print语句，你可以给它传递零个或多个用逗号隔开的表达式。此函数把你传递的表达式转换成一个字符串表达式，并将结果写到标准输出如下：#!/usr/bin/python# -*- coding: UTF-8 -*- print "Python 是一个非常棒的语言，不是吗？"你的标准屏幕上会产生以下结果：Python 是一个非常棒的语言，不是吗？读取键盘输入Python提供了两个内置函数从标准输入读入一行...

原创 7、Python培训 运算符

什么是运算符？本章节主要说明Python的运算符。举个简单的例子4 +5 = 9。 例子中，4和5被称为操作数，"+" 称为运算符。Python语言支持以下类型的运算符:算术运算符 比较（关系）运算符 赋值运算符 逻辑运算符 位运算符 成员运算符 身份运算符 运算符优先级接下来让我们一个个来学习Python的运算符。Python算术运算符以下假设变量：a=10，b=20：运算符 描述 实例 + 加 - 两个对象相加 a + b ...

原创 8、Python培训 条件语句、循环语句

Python条件语句Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程:Python程序语言指定任何非0和非空（null）值为true，0 或者 null为false。Python 编程中 if 语句用于控制程序的执行，基本形式为：if 判断条件： 执行语句……else： 执行语句……其中"判断条件"成立时（非零），则执行后面的语句，而执行内容可以多行，以缩进来区分表示同一.

原创 6、pyrhon培训 字典

pyrhon培训—字典添加键值对（缺失）删除键值对使用get（）来访问值遍历字典for循环Python字典(Dictionary)字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值key=>value对用冒号:分割，每个键值对之间用逗号,分割，整个字典包括在花括号{}中 ,格式如下所示：d = {key1 : value1, key2 : value2 }键一般是唯一的，如果重复最后的一个键值对会替换前...

原创 5、Python培训 列表(List)和元组

序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。Python有6个序列的内置类型，但最常见的是列表。序列都可以进行的操作包括索引，切片，加，乘，检查成员。此外，Python已经内置确定序列的长度以及确定最大和最小的元素的方法。列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需要具有相同的类型创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可...

原创 4、Python培训 变量，数字，字符串

Python变量类型变量存储在内存中的值，这就意味着在创建变量时会在内存中开辟一个空间。基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。因此，变量可以指定不同的数据类型，这些变量可以存储整数，小数或字符。变量赋值Python 中的变量赋值不需要类型声明。每个变量在内存中创建，都包括变量的标识，名称和数据这些信息。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。等号=用来给变量赋值。等号=运算符左边是一个变量名，等号=...

原创 3、Python培训 Python基础语法

Python 语言与 Perl，C 和 Java 等语言有许多相似之处。但是，也存在一些差异。在本章中我们将来学习 Python 的基础语法，让你快速学会 Python 编程。第一个 Python 程序交互式编程交互式编程不需要创建脚本文件，是通过 Python 解释器的交互模式进来编写代码。linux上你只需要在命令行中输入 Python 命令即可启动交互式编程,提示窗口如下：$ pythonPython 2.7.6(default,Sep 92014,15:04...

转载 2、Python培训 Python 环境搭建

Python环境搭建本章节我们将向大家介绍如何在本地搭建Python开发环境。Python可应用于多平台包括 Linux 和 Mac OS X。你可以通过终端窗口输入 "python" 命令来查看本地是否已经安装Python以及Python的安装版本。Unix (Solaris, Linux, FreeBSD, AIX, HP/UX, SunOS, IRIX, 等等。) Win 9x/NT/2000 Macintosh (Intel, PPC, 68K) OS/2 DOS (多个D.

转载 1、Python培训 Python 简介

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Python 是一种解释型语言：这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 Python 是交互式语言：这意味着，您可以在一个 Python 提示符>>>后直接执行代码。 Python 是面向对象语言:这意味着Pyt...

原创 2020-12-21

centos7.7安装elk7.10查看系统版本[root@bogon ~]# cat /etc/redhat-releaseCentOS Linux release 7.7.1908 (Core)官网下载7.10.1版本eshttps://www.elastic.co/cn/downloads/elasticsearch

原创 2020-12-16

es故障诊断方法1、profile定位慢查询curl -XPOST http://local:9200/myindex/mytype/_search -d '{ "profile": true, "query":{ "match":{ "brand": "cotton Plus" } }}2、使用explain分析未分配索引GET /_cluster/allocation/explain3、节...

原创 2020-12-16

es集群启动流程1选主节点2选举集群元信息集群级，索引级，分片级3选主分片发送广播，收取分片元信息，特定策略选主分片越多，效率越低，所以shard总数不能过多4选副分片5index recovery...

原创 2020-11-20

es快照相关参数ingnore_unavailable，跳过不存在索引，默认falseinclude_global_state，快照集群状态，默认falsecompress：默认压缩元数据，默认truemax_snapshot_bytes_per_sec：快照速率，默认40mmax_restore_bytes_per_sec：恢复速率，默认40m快照是增量？那不用重命名还是不用重新指定索引，试试快照状态IN_PROGRESSSUCCESSFAILEDPARTIALINCOMPATIB

原创 es打分机制

基于Lucene的倒排索引算法

原创 es相关概念

索引（名词）：如前所述，一个索引类似于传统关系数据库中的一个数据库，是一个存储关系型文档的地方。索引(index) 的复数词为indices或indexes。索引（动词）：索引一个文档就是存储一个文档到一个索引（名词）中以便被检索和查询。这非常类似于 SQL 语句中的INSERT关键词，除了文档已存在时，新文档会替换旧文档情况之外。倒排索引：关系型数据库通过增加一个索引比如一个 B树（B-tree）索引 到指定的列上，以便提升数据检索速度。Elastic...

原创 集群规格参考

原创 es集群角色

处理请求的节点，叫coorinating node所有节点默认都是默认coorinating nodedatanode：可以保存数据的节点masternode：处理创建，删除索引的请求，解决分片的分配维护更新claster state集群一般配置多mastermaster选举问题：1节点互相ping2选取node id低的为主节点脑裂问题:1限定选举条件2从7.0开始es会自动修复...

原创 es跨集群搜索

cluster_node

原创 hive

hive

转载 登录注册模块面试讲解思路

我们使用的是shiro框架进行身份认证/登录，和单点登录系统1. shiro自带登录过滤器，在拦截到用户未登录的情况下，会重定向到登录页面，不会去拦截登录请求和注册请求2.如果用户没有帐号，那么他就会去注册一个帐号注册3.注册分两种：1)一种是消...

转载 django学习记录-模型继承

https://blog.youkuaiyun.com/a_9884108/article/details/18815965

转载 Django学习笔记（三）:三种关系模型的实例

转自~ https://blog.youkuaiyun.com/xiaohuoche175/article/details/81262639一对一：通过外键+unique唯一约束实现#一对一def get_bankcard(request): bankcard = BankCard.objects.all() return render(request,'get_bankcar...

转载 scrapy去重原理

1.Scrapy本身自带有一个中间件;2.scrapy源码中可以找到一个dupefilters.py去重器;3.需要将dont_filter设置为False开启去重，默认是True，没有开启去重；4 .对于每一个url的请求，调度器都会根据请求得相关信息加密得到一个指纹信息，并且将指纹信息和set()集合中的指纹信息进 行 比对，如果set()集合中已经存在这个数据，就...

转载 Django的ORM常用查询操作总结

首先这里给出一个学生model:class Student(models.Model): name=models.CharField(max_length=10) sex = models.IntegerField(choices=((1,"男"),(2,"女")),default=1) birth = models.DateField(null=True) s...

转载 win10关闭端口进程

一般要用命令行这种事情都在linux上做。然而win10发现端口被占用这件事情似乎也只能用命令行来做了。有次发现8082端口被腾讯的TIM占用了，于是找了一下杀掉占用某端口的进程的方法。有些地方的说明太多了，看起来还麻烦。我就简单直接写命令了。 netstat -ano|findstr "8082"此时显示占用8082端口的进程详细信息，最后一列是PID，等会输入PID。然后...

原创 Pycharm配置远程调试

参考的文章 https://blog.youkuaiyun.com/five3/article/details/78615589个人又补充了不少内容，原创由红色标出条件pycharm需要专业版方式使用远程解释器 使用远程调试器使用远程解释器默认情况下我们在本地开发Python程序时，使用的是本地的Python解释器，如果你安装了virtualenv或者pyenv的话，还可以选择这些虚...

转载 正则的非捕获子匹配

，小括号是默认分组的！！！利用？：组合，就能够取消分组，表示这只是简单的逻辑，不进行分组操作https://www.jb51.net/article/85896.htm

原创 20180621

MongoDB之GridFS，架构师

原创 解析url的网站

http://tool.chinaz.com/tools/urlencode.aspx

转载 Python标准库07 信号 (signal包，部分os包)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 在了解了Linux的信号基础之后，Python标准库中的signal包就很容易学习和理解。signal包负责在Python程序内部处理信号，典型的操作包括预设信号处理函数，暂停并等待信号，以及定时发出SIGALRM等。要注意，signal包主要是针对UNIX平台(比如Linux, ...

转载 Python内存管理机制及优化简析

准备工作为了方便解释Python的内存管理机制, 本文使用了gc模块来辅助展示内存中的Python对象以及Python垃圾回收器的工作情况. 本文中具体使用到的接口包括:gc.disable() # 暂停自动垃圾回收.gc.collect() # 执行一次完整的垃圾回收, 返回垃圾回收所找到无法到达的对象的数量.gc.set_threshold() # 设置Python垃圾回收的阈值....