- 博客(59)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 查看文本命令
less 命令less [参数] 文件参数说明：-b <缓冲区大小> 设置缓冲区的大小 -e 当文件显示结束后，自动离开 -f 强迫打开特殊文件，例如外围设备代号、目录和二进制文件 -g 只标志最后搜索的关键词 -i 忽略搜索时的大小写 -m 显示类似more命令的百分比 -N 显示每行的行号 -o <文件名> 将less 输出的内容在指定文件中保存起来 -Q 不使用警告音 -s 显示连续空行为一行 -S 行过长时间将超出部分舍弃 -x <数字
2021-06-29 11:10:23
321
原创 HDFS副本丢失修复方法
检查方法切换到hdfs用户su - hdfshdfs fsck /副本数量是3但只找到两个尝试修复丢失的副本命令说明：hdfs debug recoverLease -path 文件位置 -retries 重试次数hdfs debug recoverLease -path /hbase/oldWALs/node01%2C60020%2C1605600631429.meta.1605607974721.meta -retries 1如果副本数量设置的为1，所有副本
2021-06-25 17:32:57
1960
原创 MySQL主从恢复数据
由于一些原因导致从库与主库的数据不同步，可以重新全量同步主从的数据1.锁表并吧内存中的数据保存到binlog中FLUSH TABLES WITH READ LOCK;SHOW MASTER STATUS;2.导出数据bin/mysqldump --single-transaction --master-data=2 -uroot -p123456 --all-databases > dbdump_20190128.sql3.从库恢复数据停止slavestop s..
2021-05-24 11:45:11
541
原创 MySQL权限管理
权限系统工作原理：MySQL权限系统通过下面两个阶段进行认证： （1）对连接的用户进行身份认证，合法的用户通过认证、不合法的用户拒绝连接。 （2）对通过认证的合法用户赋予相应的权限，用户可以在这些权限范围内对数据库做相应的操作。 对于身份，MySQL是通过IP地址和用户名联合进行确认的，例如MySQL安装默认创建的用户root@localhost表示用户root只能从本地（localhost）进行连接才可以通过认证，此用户从其他任何主机对数据库进行的连接都将被拒绝。
2021-05-24 11:42:53
341
1
转载 Mysql 主从同步状态检查
show slave status \G 参数详解1Slave_IO_State:SHOW PROCESSLIST输出的State字段的拷贝。Master_User:被用于连接主服务器的当前用户。Master_Port:当前的主服务器接口。Connect_Retry:–master-connect-retry选项的当前值，连接重试时间Master_Log_File:I/O线程当前正在读取的主服务器二进制日志文件的名称。Read_Master_Log_Pos:在当前的主服务器二进制
2021-05-24 11:41:20
3884
原创 mysql查询数据库大小和表大小
查询数据库总大小SELECT concat( round( sum( data_length / 1024 / 1024 ), 2 ), 'MB' ) AS DATA FROM information_schema.TABLES;查询所有库的大小SELECT TABLE_SCHEMA, concat( TRUNCATE ( sum( data_length )/ 1024 / 1024, 2 ), ' MB' ) AS data_size, conc
2021-05-24 11:23:52
296
原创 java进程配置输出内存信息
java -Xloggc:./jvm.logjava -Xms750m -Xmx750m -Xmn512m -Xss1024k -XX:MaxPermSize=128m-XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5-XX:+UseCMSCompactAtFullCollection -XX:+PrintGC -XX:+PrintGCDetails-XX:+PrintGCDateStamps -Xloggc:./jvm...
2021-05-24 10:43:36
346
转载 diff命令
Linux diff命令用于比较文件的差异。diff以逐行的方式，比较文本文件的异同处。如果指定要比较目录，则diff会比较目录中相同文件名的文件，但不会比较其中子目录。参数：-<行数> 指定要显示多少行的文本。此参数必须与-c或-u参数一并使用。 -a或--text diff预设只会逐行比较文本文件。 -b或--ignore-space-change 不检查空格字符的不同。 -B或--ignore-blank-lines 不检查空白行。 -c 显示全部内文，...
2021-05-24 10:39:46
6930
原创 记一次HDFS HA自动切换失败问题
报错信息：java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster"namenodeId: "nn1"hdfs-size.xml<configuration> <!-- 完全分布式集群名称 --> <p
2021-05-10 18:27:06
601
原创 记一次docker创建mysql其他机器无法连接
docker创建mysql并设置了端口映射，进入容器登陆mysql正常，但是在容器外，无论是本机的mysql客户端还是其他机器的客户端都无法连接创建语句:docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql容器中可以正常登陆排查过程：通过netstat -natp |grep 3306查看该连接为tcp6在另一台机器上telnet 3306端口不通，应该是端口没有转
2021-05-07 18:42:31
684
原创 macos下iTerm2使用rz、sz命令传输文件，解决通过堡垒机登陆后无法传输文件
说明：使用rz sz实现终端的文件传输，该命令主要使用场景为 macos中通过堡垒机登陆后无法使用ftp工具传输文件。工具：iTerm2、lrzsz、homebrew以及两个脚本文件（iterm2-recv-zmodem.sh、iterm2-send-zmodem.sh）iTerm2官网下载http://www.iterm2.com/下载完直接拖进应用程序就可以了安装homebrewruby -e "$(curl -fsSL https://raw.githubusercont...
2021-04-04 18:26:11
2520
转载 ElasticSearch性能调优
ES 性能调优ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。写优化假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择恰当写优化策略。综合来说，可以考虑以下几个方面来提升写索引的性能：加大 Translog Flush ，目的是降低 Iops、Writeblock。 增加 Inde...
2021-03-17 11:09:05
965
转载 ElasticSearch参数调优
1. 系统层面的调优系统层面的调优主要是内存的设定与避免交换内存。ES 安装后默认设置的堆内存是 1GB，这很明显是不够的，那么接下来就会有一个问题出现：我们要设置多少内存给 ES 呢？其实这是要看我们集群节点的内存大小，还取决于我们是否在服务器节点上还是否要部署其他服务。如果内存相对很大，如 64G 及以上，并且我们不在 ES 集群上部署其他服务，那么我建议 ES 内存可以设置为 31G-32G，因为这里有一个 32G 性能瓶颈问题，直白的说就是即使你给了 ES 集群大于 32G 的内存，
2021-03-17 10:56:39
590
转载 ElasticSearch数据分片-数据路由
什么是nodeES集群中每一个节点就是一个node，或者一个Elasticsearch实例就是一个节点。node分类：a、主节点：主节点不接受客户端的请求，他主要控制Elasticsearch集群，负责集群中的操作，比如创建/删除一个索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。主节点处理集群的状态并广播到其他节点，并接收其他节点的确认响应。 默认情况下任何一个集群中的节点都有可能被选为主节点，每个节点都可以通过设定配置文件elasticsearch.yml中的node.m
2021-03-15 18:21:13
496
转载 求两个文件的交集、并集和差集 sort和uniq
在日常开发中， 经常要对一些数据进行处理。 写个程序吧， 也可以实现， 但蛮麻烦的， 有些时候根本没有必要。 现在， a.txt和b.txt两个文件的数据都是逐行呈现的， 我们来说说如何求他们的交集、并集和差集。a.txt和b.txt中的内容为（注意， 高中时学的集合具有互异性， 而文件中的行却不一定有互异性）：taoge@localhost test> cat a.txtxxx111xxxtaoge@localhost test> cat b.txt111888...
2021-03-15 16:18:37
783
原创 k8s创建secret加密数据并使用
创建加密数据保存在etcd中，使其他容器可以读取到这个加密数据创建secret加密数据的yaml文件secret.yamlapiVersion: v1kind: Secretmetadata: name: mysecrettype: Opaquedata: username: YWRtaW4= password: MWYyZDFlMmU2N2Rm创建podkubectl create -f secret.yaml查看创建的secretkubectl get
2021-03-09 17:31:10
1470
原创 K8S StatefulSet控制器部署有状态应用
yaml配置文件（nginx）apiVersion: v1kind: Servicemetadata: name: nginx labels: app: nginxspec: ports: - port: 80 name: web clusterIP: None selector: app: nginx---apiVersion: apps/v1kind: StatefulSetmetadata: name: nginx-statef
2021-03-09 13:41:44
237
原创 k8s-yaml配置文件详解
apiVersion: v1 #指定api版本，此值必须在kubectl apiversion中 kind: Pod #指定创建资源的角色/类型 metadata: #资源的元数据/属性 name: django-pod #资源的名字，在同一个namespace中必须唯一 labels: #设定资源的标签，使这个标签在service网络中备案，...
2021-03-08 18:04:31
892
原创 k8s应用升级/回滚和弹性伸缩
应用升级kubectl set image deployment web nginx=nginx:1.15查看详细信息kubectl describe deployment web通过浏览器查看：查看升级状态kubectl rollout status deployment web查看历史升级信息回滚回滚到上一版本kubectl rollout undo deployment web回滚到指定版本kubectl rollout undo deployme
2021-03-08 16:54:11
257
原创 k8s部署mysql
准备yaml文件位置：/etc/kubernetes/manifestsmysql-rc.yamlapiVersion: v1kind: ReplicationControllermetadata: name: mysqlspec: replicas: 1 selector: app: mysql template: metadata: labels: app: mysql spec: containers:
2021-03-08 16:05:47
1311
原创 k8s部署nginx
生成yaml配置文件kubectl create deployment web --image=nginx -o yaml --dry-run >> nginx.yaml使用yaml文件进行部署kubectl apply -f nginx.yaml查看创建的podkubectl get pods对外暴露访问端口 生成yaml配置文件 kubectl expose deployment web --port=80 --type=NodePort --target-po
2021-03-08 16:04:55
818
原创 k8s kubeadm方式安装
一、kubeadm方式安装第一、创建一个 Master 节点 kubeadm init 第二， 将 Node 节点加入到当前集群中 $ kubeadm join <Master 节点的 IP 和端口安装要求 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多 集群中所有机器之间网络互通 可以访问外网，需要拉取镜像 禁止 swap 分区 安装前环境配置 关闭防火墙 systemctl stop fire...
2021-03-05 14:26:25
172
原创 手动清除buffer/cached
cat /proc/sys/vm/drop_caches 可以设置的值分别为1、2、3。它们所表示的含义为：echo 1 > /proc/sys/vm/drop_caches #表示清除pagecache。echo 2 > /proc/sys/vm/drop_caches #表示清除回收slab分配器中的对象（包括目录项缓存和inode缓存）。slab分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的pagecache。echo 3 > /proc/sys.
2021-03-05 14:24:44
542
原创 Job for network.service failed because the control process exited with error code问题
centos7网络不通，ifconfig 没有ip地址，xshell无法链接systemctl restart network.service出现以上问题报错解决方法：首先保证 下的if-cfgxxx 正确关闭service NetworkManager stopchkconfig NetworkManager off检查MAC地址是否一直ip addr和下面配置文件中/etc/resolv.confnameserver 8.8.8.8/etc/syscon.
2021-03-05 14:23:59
441
转载 rsync实现增量文件同步
yum -y install rsyncrsync -aP /tmp/text/ n2:/tmp/text选项说明：-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。-n --dry-run ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。-a --archive ：归档模式，..
2021-03-05 14:22:51
1502
原创 Linux常用命令整理
常用快捷键（1）ctrl + c：停止进程（2）ctrl+l：清屏（3）善于用tab键（4）上下键：查找执行过的命令文件目录类(1) pwd 显示当前工作目录的绝对路径(2) ls 列出目录的内容ls [参数] [目录或是文件] list参数:-a ：all,全部的文件，连同隐藏的文档( 开头为 . 的文件) 一起列出来(常用)-l ：长数据串列出，包含文件的属性与权限等等数据；(常用)-h : 使用接近的文件大小单位显示文件类型与权限 链接数 文件属主 文件属组 文件大小
2021-01-18 15:08:45
140
原创 Redis 哨兵模式设置密码
两台机器一台master，一台slave，两个sentinelmaster修改1. redis.confrequirepass 123456 #添加密码2. sentinel.confsentinel auth-pass mymaster 123456 #连接master密码slave修改1. redis.confmasterauth 123456 #连接master密码slaveof 10.100.134.109 6379 #slaveof表示该机器是sla...
2020-12-17 18:02:16
8314
原创 linux加入zerotier网络
linux加入zerotier网络在线安装zerotiercurl -s https://install.zerotier.com | sudo bash查看安装zerotier版本sudo zerotier-cli status加入一个netWorksudo zerotier-cli join ################（networkid）查看加入的网络的信息，比如networksudo zerotier-cli listnetworks退出加入的network网段sudo z
2020-12-01 17:22:47
5975
原创 linux添加swap交换分区
创建一个swap文件cd /varsudo mkdir swapsudo dd if=/dev/zero of=swapfile bs=1024 count=2000000count代表的是大小，我这里是2G把文件转换为swap文件在 var目录执行：sudo mkswap swapfile3.激活swap文件（临时挂载，重启后失效）挂载： sudo swapon /var/swapfile如果不需要了，可以也可以卸载：卸载：sudo swapoff /var/swapfile设置.
2020-12-01 17:20:26
364
1
原创 Linux修改句柄数
查看信息ulimit -a修改方法1.重新登录就会失效ulimit -n 100000（root用户何以随意修改，普通用户只能修改成比现在小的值）2. 重新登录后生效vi /etc/security/limits.confsoft nofile 32768hard nofile 1048576 （最大值1048576 ）...
2020-12-01 17:19:07
922
原创 Linux查看系统资源使用情况
查看cpu核心数：cat /proc/cpuinfo |grep cores |wc -llscpu查看cpu使用率：top第一行：系统时间运行时间当前登录用户负载均衡(uptime) load average: 0.00, 0.00, 0.00average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的...
2020-12-01 17:17:50
3233
原创 CDH --hue Load Balancer 启动失败
启动hue时Load Balancer启动失败这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的添加这两个服务这里使用yum安装这两个服务执行下面的命令yum -y install httpd mod_ssl
2020-12-01 17:10:35
534
原创 安装MySQL(无需root权限)
安装MySQL(无需root权限)1.解压安装包tar -zxvf mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz2.更改目录名称mv mysql-5.7.13-linux-glibc2.5-x86_64 mysql3.进入mysql并创建目录mkdir log tmp var data conf4.把创建的目录用户和用户组更改为hadoopchown hadoop:hadoop log tmp var datachown -R hadoop da
2020-11-22 22:51:51
1269
1
原创 cloudera manager 更换MySQL机器
更换存储cm元数据的MySQL的位置n1机器更换到n2由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些服务并更改相应的配置。一、停止相关的所有服务我这里只停止cloudera managerserver就可以了二、备份原数据库mysqldump -uroot -p -hn1 --opt...
2020-11-10 10:20:52
725
1
原创 linux中history显示时间
临时生效export HISTTIMEFORMAT='%F %T '永久生效vim /etc/bascrc添加HISTFILESIZE=2000HISTSIZE=2000HISTTIMEFORMAT="%m-%d %H:%M "export HISTTIMEFORMATsource /etc/bashrc
2020-11-08 11:56:08
451
原创 在一台电脑里访问其他电脑里的虚拟机
这个教程是在虚拟机为linux系统 并且是在同一网络的前提下，不在同一网络需要借助第三方工具比如zerotier，花生壳之类的软件一、使用xshell或ssh工具连接另一台电脑里的虚拟机二、两台电脑中的虚拟机互相访问一、要连接另一台电脑的虚拟机，首先去要连接的电脑上设置网络 vmware设置 1. 右键虚拟机 -- 设置 -- 网络适配器 -- 选择NTA模式 编辑 -- 虚拟机网络编辑器 -- NTA模式 -- NTA设置 ...
2020-11-08 10:23:10
3777
1
原创 cloudera manager5.14 手动安装spark2
准备好一个测试文件，随便添加些内容上传到hdfs /user/spark/test启动spark-shellbin/spark-shell --master yarnval countRDD = sc.textFile("hdfs://n1:8020/user/spark/test");读取hdfs中的文件到RDD中val result = countRDD.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_...
2020-11-07 20:07:00
443
原创 cm 5.14 离线安装spark2.2 on yarn 并测试
cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera3.jarparcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera3/注意：这里cloudera3对应上边下载的jar包的3，版本要一致el5...
2020-11-07 19:14:39
379
转载 linux开启ipv6
一、阿里云ecs服务器配置(centos系统)1.修改/etc/sysctl.conf中ipv6的配置，如下net.ipv6.conf.all.disable_ipv6 = 0 net.ipv6.conf.default.disable_ipv6 = 0 net.ipv6.conf.lo.disable_ipv6 = 02.修改/etc/modprobe.d/disable_ipv6.conf的配置，如下#alias net-pf-10 off <wbr>.
2020-11-07 14:17:19
6735
2
原创 centos开启swap交换分区
创建一个swap文件 cd /var sudo mkdir swap sudo dd if=/dev/zero of=swapfile bs=1024 count=2000000 count代表的是大小，我这里是2G 把文件转换为swap文件 在 var目录执行： sudo mkswap swapfile 3.激活swap文件（临...
2020-11-07 14:10:49
571
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人