- 博客(60)
- 收藏
- 关注
RSS订阅原创 Linux授予权限命令
Linux给用户授予文件夹权限将目录/opt 及其下面的所有文件、子目录的文件主改成 userchown -R user:user /opt
2020-11-18 21:06:16
1179
原创 mac配置免登录linux服务器&授权访问key
1、配置免密登录linux服务器一键配置脚本vim copykey.sh#!/bin/bash# 判断id_rsa密钥文件是否存在if [ ! -f ~/.ssh/id_rsa ];then ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsaelse echo "id_rsa has created ..."fiuser=待配置linux服务器用户ip=待配置linux服务器ipport=待配置linux服务器端口ssh-copy-id -p $p
2020-11-11 16:42:39
325
原创 docker查看日志命令用法
命令格式：$ docker logs [OPTIONS] CONTAINER Options: --details 显示更多的信息 -f, --follow 跟踪实时日志 --since string 显示自某个timestamp之后的日志，或相对时间，如42m（即42分钟） --tail string 从日志末尾显示多少行日志， 默认是all -t, --timestamps 显示时间戳
2020-10-20 14:43:01
1089
原创 防火墙firewalld～常用命令
1、开放端口firewall-cmd --zone=public --add-port=5672/tcp --permanent # 开放5672端口firewall-cmd --zone=public --remove-port=5672/tcp --permanent #关闭5672端口firewall-cmd --reload # 配置立即生效2、查看防火墙所有开放的端口firewall-cmd --zone=public --list-ports3.、关闭防火墙如果要开放的端
2020-10-09 17:46:30
1187
原创 ES集群搭建错误～Too many open files
错误记录(1) too many open filesmax file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]解决办法：切换到root用户vim /etc/security/limits.conf* soft nofile 300000* hard nofile 300000* soft nproc 102400* soft memlock unlimi
2020-09-25 10:58:43
522
原创 Linux firewalld防火墙常用
firewalld防火墙常用1、查看firewall服务状态systemctl status firewalld出现Active: active (running)切高亮显示则表示是启动状态。出现 Active: inactive (dead)灰色表示停止，看单词也行。2、查看firewall的状态firewall-cmd --state3、开启、重启、关闭、firewalld.service服务开启service firewalld start重启service firewal
2020-07-23 16:14:21
168
原创 NFS共享文件系统搭建
分享个人觉得写的不错的NFS相关介绍 点击跳转即可server端安装yum install -y nfs-utils修改配置文件vim /etc/exports/home/share/ 192.168.1.0/24(rw,sync,fsid=0)#/home/share/ 192.168.1.1(rw,sync,fsid=0) 192.168.1.2(rw,sync,fsid=0)测试exportfs -vexportfs: /etc/exports:1: syntax erro
2020-07-14 16:03:20
663
原创 linux 上传下载文件命令
通用scp 命令scp -P 【开放端口】 【linux用户名】@【ip】:【linux文件位置】 【目标文件位置（本机/另一台服务器皆可）】使用xshell适用于linux 与windows 互传sz命令发送文件到本地# sz filenamerz命令本地上传文件到服务器#rz执行rz命令后，在弹框中新增要上传的文件即可...
2020-07-08 14:48:55
225
原创 Hive sql 常用的一些方法
1、插入数据insert into 附加；insert overwrite 清空原数据，再插入，最终表中只有插入的数据。2、字符串截取函数split正常使用split('a,b,c,d',',')得到的结果：["a","b","c","d"]当遇到特殊字符"." 点split('192.168.0.1','.')得到的结果：[]正确的写法：split('192.168.0.1','\\.')得到的结果：["192","168","0","1"]当split包含在 "
2020-07-05 21:42:43
263
原创 mac破解软件安装后无法打开解决方案（MacOS10.15之后亲测有效）
之前安装破解软件一直都是 先输入 sudo spctl --master-disable ，将系统偏好设置为任何来源，就能避免提示文件已损坏。然而升级到了macos10.15上这了方法失效了，于是找到了最新方案。再加一步：//终端输入sudo xattr -r -d com.apple.quarantine+空格+app路经 //例如：sudo xattr -r -d com.apple.quarantine /Applications/SourceTree.app...
2020-06-27 17:54:11
6071
6
原创 如何查看Linux磁盘类型
测试通过有两种方法方法一[root/m1cat]$ /sys/block/sda/queue/rotational1说明：1、命令中的sba是你的磁盘名称，可以通过df命令查看磁盘，然后修改成你要的2、返回结果表示含义：返回0：SSD盘返回1：SATA盘2.方法二[root/m1cat]$ lsscsi[0:0:0:0] disk ATA WDC WD1002F9YZ-0 1M02 /dev/sda [1:0:0:0] disk ATA
2020-06-02 12:25:04
6534
原创 ES集群搭建 错误记录-with the same id but is a different node instance
问题测试集群机器配置硬盘容量相差太大，其中一台磁盘利用率很低，而且有两块磁盘，因此现将其分割成两个节点，修改了配置路径、name、端口、以及内存之后出现以下问题：[2020-05-29T15:18:23,929][INFO ][o.e.d.z.ZenDiscovery ] [es-1] failed to send join request to master [{es_m}{1z8Se4x_T_iz59Vh6U5TRg}{iPHSq1IkRXaNMWr84GIkXA}{127.0.0.1}
2020-05-29 18:05:27
818
原创 python3中如何表示无穷大
正无穷float("inf") 负无穷 float('-Inf')验证 float('-Inf') ==-float('Inf') true_isnan(double x); //判断是否为NAN _finite(double x); //判读是否为无穷大
2020-05-28 11:26:51
4039
原创 Python3 创建数组
创建2维数组python3 Python 3.7.4 (default, Aug 13 2019, 20:35:49) [GCC 7.3.0] :: Anaconda, Inc. on linuxType "help", "copyright", "credits" or "license" for more information.>>> len =5>>> matrix = [None]*len>>> print(matrix)[No
2020-05-28 11:22:39
1723
原创 ES6.x版本单机三节点配置discovery.zen.ping.unicast.hosts 错误
问题在同一个机子利用不同端口搭建3个ES节点单节点正常运行集群间无法联通，找不到主节点表现cluster_uuid 一直没有注册成功curl "0.0.0.0:29200"{ "name" : "es-01", "cluster_name" : "es-test01n", "cluster_uuid" : "_nan_", "version" : { "number" : "6.4.2", "build_flavor" : "default", "bu
2020-05-28 11:04:41
12011
原创 ERROR: Could not install packages due to an EnvironmentError: [Errno 13] 权限不够: /opt/conda/miniconda
问题pip install esrallyCollecting esrally Using cached https://files.pythonhosted.org/packages/eb/ca/371dcc49c7abcdb1bc8fec8aa76467658c891d935f0c2967137ff036a324/esrally-1.4.1-py3-none-any.whlCollecting docutils<0.16,>=0.10ERROR: Could not insta
2020-05-26 16:25:08
600
原创 利用docker-compose搭建ES集群6.4/7.2、Kibana
安装docker-compose确定需要安装的版本拉取docker镜像编写docker-compose.yml编写es.yml编写kibana.yml启动、测试！！！
2020-05-20 16:18:00
880
转载 docker-compose up解决错误ERROR: Could not connect to Docker daemon at http+docker://localhost is it run
$ docker-compose upERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running?If it's at a non-standard location, specify the URL with the DOCKER_HOST environment variable.导致这个问题的原因实在多，所以把解决方法一一列出。1 docker服务没启动，那就启动$ su
2020-05-19 15:21:16
1436
原创 迟来的“后浪” ----- 不管是否产生共鸣，仍然要心里有火、眼里有光
5.4青年节一个关于《后浪》的视频在B站及各大视频网站流传也许这个世界不完美，但每一代都在努力。对于大多数的90后们，可能看过视频之后，会有以下想法：小时候就是被逼着完成学业，穷人家庭根本没有余力满足孩子的其他兴趣，富人家庭的孩子也被逼着做一些自己不喜欢的兴趣爱好，根本没有选择自己兴趣的能力。从懂事开始，就有很多很多的不懂，一直延续的到现在。大部分人也不知道自己到底喜欢什么，只是为了生活而活着，不惑之年还很遥远。朋友的数量随着年龄的增长、地域的变迁，甚至可能会因为自己能力的变化，变得屈指可数，能
2020-05-13 11:02:58
720
原创 docker搭建ES集群及Kibana教程
加载docker es 镜像docker pull elasticsearch:6.4.2 配置ES配置文件地址： /home/es/config/ es1.yml es2.yml es3.yml在本地配置elasticsearch.yml文件，设置es集群名称、ip等如下：ES01:cluster.name: elasticsearch-clusternode.name: es-node1network.bind_host: 0.0.0.0network.publish.
2020-05-09 16:04:16
1588
2
原创 ES分片未分配问题总结
定位原因方法一：使用ES的cat API可以分析出未分配的分片信息及未分配的原因curl -XGETlocalhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grepUNASSIGNED命令返回信息包括索引名称、分片编号、是主分片还是副本分片、未分配原因等方法二：使用GET /_cluster/all...
2020-04-26 17:40:01
4999
原创 如何查找python安装包的路径
如何查找python安装包的路径site-packages?使用命令：python -m sitepython -m site --user-site
2020-04-22 18:01:15
2051
原创 storm2.1.0搭建教程
一、确定安装storm版本，这里默认安装storm2.1.0二、搭建storm集群步骤开始（Here's a summary of the steps for setting up a Storm cluster:）安装一个Zookeeper集群（一般3台足够)(Set up a Zookeeper cluster)（问题：单机需要装Zookeeper么）Zookeeper需要加入监...
2019-12-19 16:02:41
1773
1
原创 cannot find lxml2处理
python3安装依赖包出现错误：cannot find lxml2没有找到libxml2库：检查是否安装lxml2 find / -name libxml2*如果没有：直接用yum install libxml2，安装如果有：且查找是显示下列文件，则需要去软链libxml2库cd /usr/lib64ln libxml2.so.2 libxml2.so...
2019-12-09 14:41:58
1164
原创 Linux用户如果没有root权限该如何安装依赖包，比如常用的gcc
安装包时出现错误：/python3.7m -c dragnet/lcs.cpp -o build/temp.linux-x86_64-3.7/dragnet/lcs.ogcc: error trying to exec 'cc1plus': execvp: No such file or directoryerror: command 'gcc' failed with exit statu...
2019-12-09 14:39:27
1169
原创 linux安装miniconda3
1、下载下载地址：https://docs.conda.io/en/latest/miniconda.html清华软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/注意：一定要认准版本，最好不要下载miniconda，建议下载miniconda3.2、安装下载完成后：Miniconda3-latest...
2019-12-06 17:22:33
10836
3
原创 linux SSL发送邮件出错 ssl.SSLEOFError: EOF occurred in violation of protocol (_ssl.c:748)
定时任务发送邮件SSL方式，发送失败报错：ssl.SSLEOFError: EOF occurred in violation of protocol (_ssl.c:748)解决方法：pip install incremental测试：成功
2019-11-28 17:28:55
2729
2
原创 hivesql一些常用的简便方法
命令：(1)vi hive.sqlsql = “select * from table;”hive -f hive.sql(2)遍历一个表多次插入其他的表from table1insert into table2 where q1=v1insert into table2 where q2=v2(3)遍历hive表格并写入文件hive -e “select * from tabl...
2019-11-05 14:30:19
144
原创 利用shell求取两个文件的交集、差集、并集等
一、交集sort a.txt b.txt | uniq -d二、并集sort a.txt b.txt | uniq三、差集a.txt-b.txt:sort a.txt b.txt b.txt | uniq -ub.txt - a.txt:sort b.txt a.txt a.txt | uniq -u四、相关的解释使用sort可以将文件进行排序(sort排序是为了管道交给uni...
2019-11-05 14:26:16
6592
1
原创 python获取shell语句的结果
import os, re#execute command, and return the outputdef execCmd(cmd):r = os.popen(cmd)text = r.read()r.close()return text#write “data” to file-filenamedef writeFile(filename, data):f = open(f...
2019-11-05 14:13:39
501
原创 python3读取redis返回数据带有'b'的问题
这里我们存进去的是字符串类型的数据，取出来却是字节类型的，这是由于python3的与redis交互的驱动的问题，Python2取出来的就是字符串类型的。为了得到字符串类型的数据，你可以每次取出来decode一下，但是太繁琐了，可以这样设置：sr = StrictRedis(host=‘localhost’, port=6379, db=0,decode_responses=True)即在连接...
2019-11-05 14:04:41
1379
原创 致命错误：libxml/xmlversion.h：没有那个文件或目录 #include "libxml/xmlversion.h"
python 安装错误记录：> cpp -o build/temp.linux-x86_64-3.6/dragnet/blocks.o cc1plus:> 警告：command line option ‘-Wstrict-prototypes’ is valid for C/ObjC but> not for C++ [默认启用] dragnet/blocks.cpp:48...
2019-11-05 10:37:30
2755
1
原创 kafka的分区数与多线程消费
分区、Offset、消费线程、group.id的关系1）一组（类）消息通常由某个topic来归类，我们可以把这组消息“分发”给若干个分区（partition），每个分区的消息各不相同；2）每个分区都维护着他自己的偏移量（Offset），记录着该分区的消息此时被消费的位置；3）一个消费线程可以对应若干个分区，但一个分区只能被具体某一个消费线程消费；4）group.id用于标记某一个消费组，每...
2019-09-04 18:13:03
698
原创 Spark如何提交job
spark提交job方式standalone方式client 模式cluster模式yarn方式client模式完整体提交job语句：spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 1 --class org.apache.spark.examp...
2019-08-22 13:46:28
561
原创 MongoDB创建用户
use stock_testswitched to db stock_testdb.addUser(‘sonia’,‘soniatest’);2019-07-30T10:47:39.585+0800 E QUERY TypeError: Property ‘addUser’ of object stock_test is not a functionat (shell):1:4d...
2019-08-22 13:45:17
245
原创 Linux 文本编辑常用快捷键
一、 三种模式vim有三种编辑模式:i 进入文本编辑模式esc 进入命令编辑模式命令编辑状态下 dd删除整行：进入底行模式底行模式状态 输入q 退出 w保存 wq 保存并退出 ！表示强制的意思 q!强制退出二 、编辑文本常用快捷键1、插入命令a在光标后附加文本A在本行行末附件文本i在光标前插入文本I在本行开始插入文本o在光...
2019-08-20 14:45:38
455
原创 MongoDB插入数据的3种方法
MongoDB插入数据的3种方法insert()方法db.inventory.insert( { _id: 10, type: "misc", item: "card", qty: 15 } )update()方法db.inventory.update( { type: "book", item : "journal" }, ...
2019-08-20 14:31:39
1164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人