zy~fighting-优快云博客

原创项目经验之Hadoop宕机

前几天做项目遇到了Hadoop宕机的问题，现将解决的办法分享给大家： 1.如果是MR造成的系统宕机，就要控制Yarn同时运行的任务数和每个任务运行的最大内存，可以通过调整参数：yarn.scheduler.maximum-mb(单个任务可申请的最多物理内存，默认是8192MB) 2.如果是写入文件过量造成的NameNode宕机，那么就要调高kafka的存储大小，控制从kafka到HDFS的写入速度，一般我们在高峰期的时候要用kafka进行缓存，高峰期过去之后数据同步会自动跟上。 ...

2020-06-29 21:47:58 625

原创命令中的正则表达式

命令中的正则表达式如果要在命令输出或文本中筛选内容时使用模糊查找，就需要使用正则表达式。正则表达式是一套由多个元字符组成的模糊查找模式，使用正则表达式可以快速查找和定位文本中指定的内容。 1、单字符匹配符. 正则表达式主要由一些元字符和匹配模式组成单字符匹配符可以匹配任意单个字符，这个字符的功能和文件名匹配符中的？功能相同使用正则表达式查找文本，首先需要使用元字符

2017-02-02 15:24:37 504

原创 linux命令中的特殊字符

Linux命令中的特殊字符 1、字符串引用符双引号和单引号双引号和单引号的主要作用是引用字符串 1.1、双引号通常用来表示引用一个字符串，有时能屏蔽一些标点等特殊字符，命令中使用双引号时，一般表示引用部分是不可分割的整体（1）屏蔽特殊字符如果在命令中使用一个比较长的字符串作为参数，通常应该将这些字符串放入双引号内，避免Shell对字符串中的某些字符产生误解例如输

2017-02-02 15:22:28 3200

原创切换用户命令及其他

6、切换用户命令在Linux系统中，root用户拥有至高的权限，但是使用该用户登录可能会导致数据丢失，所以一般情况下不使用该用户，通常使用普通用户登录，当需要执行管理操作时，再切换到root用户执行管理操作 6.1、临时切换用户命令su # su root 切换到root用户退出临时使用的用户，用exit命令 6.2、以root用户身份运行命令sudo 7、定位

2017-02-02 15:15:19 2312

原创连线用户命令

5、连线用户命令目前许多Linux系统运行在对用户环境中，管理员可能还需要管理连线的用户 5.1、查看连线用户命令who,finger,w 查看时直接使用命令，区别是： who命令主要用于一般性查看，finger命令则侧重于用户的个人详细信息，而w命令更侧重于输出用户使用系统的情况 5.2、与连线用户通信的命令wall,weite ,mesg (1)要向所有在线的用

2017-02-02 15:14:04 313

原创日期时间命令

4、日期时间命令 4.1、查看日期时间命令date 【命令格式】：data [option] [+FORMAT] 【常用选项】： s:从指定的字符串中读取并设置当前系统的时间【示例】：（1）显示当前系统的时间 # date (2) 输出时间的同时格式化输出 # date +"%F %T" 4.2、查看气力命令cal 【命令格式】：cal [

2017-02-02 15:11:35 767

原创文本文件相关命令

3、文本文件内容相关命令 3.1、Linux系统中，好多系统及服务配置都是保存在文件中的，为了查看，所以有该命令。 3.2、查看文本文件内容命令cat 【命令格式】：cat [option] filename 【常用选项】： v:显示文件内容的同时，也显示文件中的控制字符，非常方便查看脚本中不能识别的控制字符。【示例】：（1）

2017-02-02 15:08:48 466

原创 linux文件操作命令

2、文件操作命令 2.1、文件命名规则 Linux系统的命名规则和Windows相差较大。（1）文件命名规则 Linux系统中的文件名称最长可以有256个字符，文件名可以由字母，数字，下划线，减号及一些特殊符号（不推荐使用）。（2）文件扩展名 Linux系统中没有文件扩展名的概念，因此不强制使用，有时也使用扩展名表示文件的用途，有些特殊的

2017-02-02 15:07:07 6085 1

原创 Linux的基本命令

1、Linux基本命令 1.1、切换工作目录命令cd 【命令格式】：cd [dir] 参数dir表示要切换目录的路径，可以是绝对路径（是指以根文件系统/为起点，例如/root），也可以是相对路径（以当前目录为起点，使用.表示当前目录，使用..表示当前目录的上一级目录,例如./test）。【示例】：从当前目录切换到日志文件目录/var/log cd /var/log

2017-02-02 15:03:00 283

原创 Linux命令基础学习笔记

1、Linux命令基础约定： 1.1 关闭系统命令：(shutdown) （1）在1分钟后关闭系统： #shutdown -h 1 (2)立即关闭系统： #shutdown -h now (3)在指定时间进行关闭系统： #shutdown -h 15:30 *shutdown也可以用于重新启动： #shutdown -r 2

2017-02-02 14:58:23 313

hardworkingzy的博客