- 博客(153)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 几种不同类型的JOIN的区别
INNER JOIN只返回匹配的行，LEFT JOIN返回左表中的所有行和匹配的右表中的行，RIGHT JOIN返回右表中的所有行和匹配的左表中的行，FULL JOIN返回两个表中的所有行。
2023-08-15 10:11:32
1606
原创 vsftpd服务端和lftp客户端部署
•当virtual_use_local_privs=NO，write_enable=YES，anon_world_readable_only=NO，anon_other_write_enable=YES时，虚拟用户只能下载、删除和重命名文件，无其他权限。•当virtual_use_local_privs=NO，write_enable=YES，anon_world_readable_only=NO，anon_mkdir_write_enable=YES时，虚拟用户只能下载文件和创建文件夹，无其他权限。
2023-07-10 11:15:44
472
原创 -bash: fork: Cannot allocate memory处理
综上所述，/proc/sys/kernel/pid_max 通过设置进程ID的上限来控制系统的整体进程数量，而 /etc/security/limits.d/90-nproc.conf 则是通过限制每个用户或用户组的进程数量来进行资源管理。2、/proc/sys/kernel/pid_max 设置的是所有进程的上限，包括系统进程和用户进程，而 /etc/security/limits.d/90-nproc.conf 只限制用户进程的数量。
2023-07-10 10:26:44
3605
原创 sftp、ssh连接提示client_loop: send disconnect: Broken pipe Connection closed. Connection clos
【代码】sftp、ssh连接提示client_loop: send disconnect: Broken pipe Connection closed. Connection clos。
2023-07-10 10:17:36
4044
1
原创 hdfs删除后空间不是释放，trash回收机制
在2023-06-19删除完的文件后，将删除的文件移动到/user/hadoop/.Trash/current文件夹下，3天后2023-06-22检查点生成机制运行，将回收站中的数据移动到/user/hadoop/.Trash/20230622080017，此时也会删除当前时间三天前过期的检查点数据，在2023-06-25检查点生成后，没有把/user/hadoop/.Trash/20230622080017的原因，因为回收站数据量比较大，时间戳时间稍晚20230622080017无法被正常删除。
2023-06-30 15:25:03
2295
原创 数据倾斜排查
如果每个 reduce 执行时间差不多，都特别长，不一定是数据倾斜导致的，可能是 reduce 设置过少导致的；有时候，某个 task 执行的节点可能有问题，导致任务跑的特别慢。如果新的任务在很短时间内能完成，通常则是由于 task 执行节点问题导致的个别 task 慢。reduce 的时间比其他 reduce 时间长的多，大部分 task 在 1 分钟左右完成，只有 r_000095 这个 task 执行一个多小时还没完成。比较不同的 task counter 的输入记录数，看是否有很大的数据量的差距。
2023-06-30 11:04:19
361
原创 -bash: fork: Cannot allocate memory处理
一、报错提示二、问题处理方式#查看最大进程数 sysctl kernel.pid_maxsysctl kernel.pid_max#查看进程数ps -eLf | wc -l#确认是进程数满了#处理方式一#修改最大进程数后系统恢复echo 1000000 > /proc/sys/kernel/pid_max#处理方式二#永久生效echo "kernel.pid_max=1000000 " >> /etc/sysctl.confsysctl -p...
2022-05-10 14:36:43
790
原创 检测到目标主机可能存在缓慢的http拒绝服务攻击
#tomcat慢速HTTP拒绝服务攻击安全问题解决办法修改Tomcat 配置文件 server.xml 中的 <Connector … /> 配置中，设置connectiontimeout值，默认为20000ms，修改为8000ms<Connector port="8080" protocol="HTTP/1.1" maxHttpHeaderSize="8192" maxThreads="100"
2022-03-04 15:46:00
6429
1
原创 su: cannot set user id: Resource temporarily unavailable报错处理
一、报错详情用root用户登录上服务器，su username提示：su: cannot set user id: Resource temporarily unavailablesftp、ssh提示：client_loop: send disconnect: Broken pipeConnection closed. Connection clos二、排查处置方式#资源限制查看的相关命令#查看当前用户资源限制ulimit -a#统计用户进程开启数ps -ef |grep user
2022-03-04 15:27:18
795
原创 linux用expdp备份oracle数据库
#查询某个用户下所有的表select * from all_tables a where a.OWNER = 'META_DM_D';#创建逻辑目录Oracle_expdp，存放数据物理目录为/orabakdircreate or replace directory Oracle_expdp as '/orabakdir';#查询逻辑目录是否成功select * from dba_directories#赋权Grant read,write on directory Oracle_expdp
2022-02-25 14:18:10
1884
原创 WARNING: REHOTE HOST IDENTIFICATION HAS CHANGED
一、报错详情二、处置方式方式一ssh-keygen -R xxx.xxxx.xxx.xxx方式二vi ~/.ssh/known_hosts#删除[需要远程的主机IP] 公钥信息
2022-01-25 10:22:40
883
原创 prometheus监控redis集群
一、redis集群情况#redis集群IP和端口，集群配置了密码136.xxx.102.112:7000136.xxx.102.112:7001136.xxx.102.112:7002136.xxx.102.113:7000136.xxx.102.113:7001136.xxx.102.113:7002二、redis_exporter部署，配置prometheus#将文件解压并修改文件夹名称tar -zxvf redis_exporter-v1.3.5.linux-amd64.tar.
2021-12-31 16:31:44
4670
原创 LVM创建管理扩容
一、LVM简介LVM是 Logical Volume Manager（逻辑卷管理）的简写；LVM是在磁盘分区和文件系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁盘分区布局，提供一个抽象的存储卷，在存储卷上建立文件系统。二、相关介绍物理存储介质（PhysicalStorageMedia） 指系统的物理存储设备：磁盘，如：/dev/hda、/dev/sda等，是存储系统最底层的存储单元。物理卷（Physi
2021-12-15 11:30:46
2453
原创 shell脚本gzexe加密解密
一、gzexe加密#系统自带的gzexe程序，它不但加密，同时压缩文件gzexe a.sh#它会把原来没有加密的文件备份为 a.sh~ ,同时 a.sh 即被变成加密文件二、gzexe解密gzexe -d a.sh
2021-12-01 11:08:26
2529
原创 shell脚本shc加密解密
一、shc加密#shc编译安装#软件安装包地址：http://www.datsi.fi.upm.es/~frosal/sources/tar xvfz shc-3.8.7.tgzcd shc-3.8.7make#验证shc是否正确安装./shc -v#加密命令shc -T -f a.sh#加密后生成的文件#a.sh.x是加密后的可执行的二进制文件#a.sh.x.c是生成a.sh.x的原文件(c语言)a.sha.sh.xa.sh.x.c加密后用UltraEdit打开的效果
2021-11-30 16:55:18
4836
原创 ssh免密登陆
- 一、说明：从机器B root用户免密登录机器A hadoop用户二、操作流程#在机器B中ssh-keygen -t rsa#一直回车即可#会生成/root/.ssh/id_rsa和/root/.ssh/id_rsa.pub#在机器A中cd /home/hadoop/.ssh#创建authorized_keys文件vi authorized_keys#将B机器上的id_rsa.pub文件中内容复制过来即可#修改authorized_keys权限chmod 755 author
2021-11-25 17:00:22
1173
原创 lftp命令和ftp命令用法
- 一，介绍lftp是一个文件客户端程序，它支持ftp、SETP、HTTP和FTPs等多种文件传输协议。lftp支持tab自动补全，记不得命令双击tab键，就可以看到可能的选项了。#配置文件vim /etc/lftp.confset ftp:charset gbkset file:charset utf8set pget:default-n 5 ftp命令用来设置文件系统相关功能。ftp服务器在网上较为常见，Linux ftp命令的功能是用命令的方式来控制在本地机和远程机之间传送文件。二
2021-11-25 16:56:44
3611
原创 ftp、sftp简介
一、ftp介绍FTP是TCP/IP协议组中的协议之一，TP协议由两个部分组成：1、FTP服务器(用来存储文件)2、FTP客户端(用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源)默认情况下FTP协议使用TCP端口中的20和21这两个端口。21端口用于传输控制信息，而是否使用20作为传输数据的端口与FTP使用的传输模式有关，如果采用被动模式则具体使用哪个端口要服务器端和客户端协商决定。FTP传输模式分为以下两种：主动模式(Port)被动模式(Passive)1、主动模式.
2021-11-25 16:53:26
2469
原创 datanode报错：failed to stat a path component: /var/ run/hdfs-sockets
报错详情：问题处置：#用root用户创建文件夹mkdir /var/run/hdfs-sockets#修改新建文件夹的权限chown hadoop:hadoop /var/run/hdfs-sockets
2021-11-25 16:50:09
1114
原创 centos6.5安装psycopg2（离线安装）
一、基础环境二、安装psycopg2需要安装依赖#所需要的依赖包[root@hadoop-e06 ~]# rpm -qa |grep postgresqlpostgresql96-libs-9.6.23-1PGDG.rhel6.x86_64postgresql96-devel-9.6.23-1PGDG.rhel6.x86_64postgresql96-9.6.23-1PGDG.rhel6.x86_64#安装依赖命令rpm -ivh postgresql96-9.6.23-1PGDG.rhe
2021-10-19 14:26:32
924
原创 命令详解-lsblk
概述：lsblk命令 用于列出所有可用块设备的信息，而且还能显示他们之间的依赖关系，但是它不会列出RAM盘的信息。块设备有硬盘，闪存盘，cd-ROM等等。lsblk命令包含在util-linux-ng包中，现在该包改名为util-linux。这个包带了几个其它工具，如dmesg。要安装lsblk，请在此处下载util-linux包。Fedora用户可以通过命令sudo yum install util-linux-ng来安装该包。选项-a, --all 显示所有设..
2021-09-13 10:37:56
1358
原创 centos6.5上安装配置ftp服务
一、基础情况说明系统版本：CentOS release 6.5 (Final)vsftp版本：vsftpd-2.2.2-11.el6_4.1.x86_64二、vsftp部署#查看是否已经安装vsftpdrpm -qa | grep vsftpd#安装vsftpd-2.2.2-11.el6_4.1.x86_64，此安装包我是从系统镜像解压后的Packages/下找到的rpm -ivh vsftpd-2.2.2-11.el6_4.1.x86_64.rpm#安装后开启vsftpd服务..
2021-09-02 14:36:32
669
原创 oracle下表所属表空间的迁移
迁移目的：将USER01用户下TABLENAME表，迁移到新的表空间DATA01。--查询表是否有子分区select * from dba_segments where OWNER = 'USER01' and SEGMENT_NAME = 'TABLENAME'--查询表的索引select OWNER,INDEX_NAME,INDEX_TYPE,TABLE_NAME from dba_indexes twhere TABLE_NAME='TABLENAME'and OWNER='U
2021-08-10 17:34:21
275
原创 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver
报错详情ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver问题产生原因缺少 oracle 驱动解决方案#需要在安装sqoop server的节点上放oracle的驱动包cp ojdbc6.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib/...
2021-08-06 10:33:10
2576
原创 hive创建数据库及问题记录
需求描述：由于业务需要，需要在css租户下创建一个新的数据库：css操作步骤：[root@hadoop-e04 ~]# su - hadoop[hadoop@hadoop-e04 ~]$ hive#建库hive (default)> create database css;#赋权hive (default)> grant ALL on database css_pe to user css;报错记录1、在创建数据库的时候出现报错：Authorization fail.
2021-08-05 15:29:25
438
原创 ElasticSearch集群、Kibana（elasticSerach可视化工具）部署
ElasticSearch集群部署1、安装JDK进入安装文件目录cd /home/installfiles/将安装文件解压至安装软件目录tar -zxvf jdk-8u144-linux-x64.tar.gz -C /tools/vi /etc/profile#在文件末尾添加export JAVA_HOME=/tools/jdk1.8.0_144export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}.
2021-07-20 10:28:29
577
原创 Nginx中worker_processes、worker_connections设置
worker_processes，工作进程数1.默认：worker_processes: 12.调大：worker_processes: CPU核心数，(双核4线程，可以设置为4)worker_connections，单个工作进程可以允许同时建立外部连接的数量数字越大，能同时处理的连接越多1.默认：worker_connections: 10242.调大：worker_connections: 100000，（调大到10万连接）worker_connections解析1.connectio.
2021-07-20 09:00:12
1968
原创 nginx漏洞修复：SSL/TLS 服务器瞬时 Diffie-Hellman 公共密钥过弱【原理扫描】
#需编辑 nginx.conf1、生成 dhparams.pem。cd /usr/local/nginx/conf openssl dhparam -out dhparams.pem 2048chmod -R 755 dhparams.pem2、编辑 nging.conf 文件，添加 ssl_dhparam {path to dhparams.pem} ssl_dhparam /usr/local/nginx/conf/dhparams.pem;...
2021-07-20 08:59:47
3272
3
原创 目标主机showmount -e信息泄露(CVE-1999-0554)
NSFOCUS建议您采取以下措施以降低威胁:限制可以获取NFS输出列表的IP和用户。除非绝对必要，请关闭NFS服务、MOUNTD。解决方法：# 在NFS服务器上：vim /etc/hosts.allowmountd:192.168.1.1rpcbind:192.168.1.1:allowvim /etc/hosts.denymountd:ALLrpcbind:ALL:deny...
2021-07-20 08:59:32
1068
原创 Zookeeper集群和zkUI搭建
- 一、zookeeper集群搭建1、将安装包上传到服务器并解压2、创建必要目录与文件 Zookeeper集群中，每一个节点都需创建data目录、dataLog目录以及myid文件。 说明：myid文件需创建在data目录下，其值为后续zoo.cfg中配置的第几号服务器。在测试服务器192.168.5.101机器上的myid文件目录为/usr/local/cndmss/zk/data/myid,其值为1；在另外2台机器上myid文件的值依次分别为2、3）3、配置zoo.cfg在Zookee
2021-07-20 08:59:08
345
原创 Kafka集群、KafkaEagle（kafka可视化工具）部署
- 一、kafka集群搭建Kafka同样需要部署在至少3个节点上，可以和Zookeeper部署在相同节点。1、准备压缩包、上传到Linux系统中并解压2、进入kafka/config目录，有一个配置文件server.propertiesbroker.id：设置kafka节点的id，三个节点的id依次设置为0、1、2log.dirs：设置kafka存放日志的路径zookeeper.connect：设置zookeeper的访问地址。其他配置项不用修改注意：Kafka默认使用9092端口，建
2021-07-20 08:58:34
505
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人