10个脚本让你的运维超神 !零基础入门到精通，收藏这篇就够了_运维脚本

原创 于 2025-01-06 14:06:27 发布 · 721 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #javascript #开发语言 #系统安全 #web安全 #计算机网络 #网络安全

在运维工作中，日志处理是一项至关重要的任务，它涉及到监控系统状态、排查故障以及性能调优等多个方面。以下是15个常用的日志处理脚本，这些脚本可以帮助运维人员高效地管理和分析日志数据。

  1. 实时日志监控与报警脚本：该脚本能够实时监控日志文件，一旦检测到特定的错误关键字，就会发送报警邮件。

    #!/bin/bash   LOG_FILE="/path/to/your/logfile.log"   KEYWORD="ERROR"   EMAIL="admin@example.com"   tail -f $LOG_FILE | while read line; do       if echo "$line" | grep -q "$KEYWORD"; then           echo "Alert: $line" | mail -s "Error Detected in $LOG_FILE" $EMAIL       fi   done

  2. 日志按时间分割脚本：模拟logrotate功能，每天将旧日志重命名并创建新日志。

    #!/bin/bash   LOG_FILE="/path/to/your/logfile.log"   DATE=$(date +%Y%m%d)   mv $LOG_FILE $LOG_FILE.$DATE

  3. 异常日志聚合分析脚本：从多个服务器的日志文件中收集错误日志，并聚合分析。

    #!/bin/bash   SERVERS=("server1" "server2" "server3")   ERROR_DIR="/path/to/error_logs"   mkdir -p "$ERROR_DIR"   for SERVER in "${SERVERS[@]}"; do       SSH_CMD="ssh $SERVER 'cat /path/to/logs/error.log'"       ERRORS=$(eval $SSH_CMD)       echo "$ERRORS" | grep 'ERROR' >> "$ERROR_DIR/${SERVER}_errors.log"   done

  4. 日志时间戳转换脚本：将日志文件中的时间戳从UNIX时间戳转换为可读的日期格式。

    #!/bin/bash   LOG_FILE="/path/to/your/logfile_with_timestamps.log"   while IFS= read -r line; do       TIMESTAMP=$(echo $line | cut -d' ' -f1)       MESSAGE=$(echo $line | cut -d' ' -f2-)       HUMAN_READABLE_DATE=$(date -d @"$TIMESTAMP" +"%Y-%m-%d %H:%M:%S")       echo "$HUMAN_READABLE_DATE $MESSAGE"   done < "$LOG_FILE"

  5. 日志IP地址统计脚本：统计日志文件中访问者的IP地址及其出现次数，并排序输出。

    #!/bin/bash   LOG_FILE="/path/to/your/access.log"   awk '{print $1}' $LOG_FILE | sort | uniq -c | sort -nr

  6. 日志请求类型分析脚本：分析日志文件中不同HTTP请求类型（如GET、POST）的比例。

    #!/bin/bash   LOG_FILE="/path/to/your/access.log"   declare -A request_types   while IFS= read -r line; do       method=$(echo $line | awk '{print $6}')       if [[ "${request_types[$method]}" ]]; then           ((request_types[$method]++))       else           request_types[$method]=1       fi   done < "$LOG_FILE"   echo "Request Type Statistics:"   for method in "${!request_types[@]}"; do       echo "$method: ${request_types[$method]}"   done

  7. 日志响应时间分析脚本：分析日志文件中每个请求的响应时间，并统计不同时间段的请求数量。

    #!/bin/bash   LOG_FILE="/path/to/your/access.log"   declare -A response_times   bins=("0-100ms" "101-200ms" "201-500ms" "501-1000ms" "1000ms+")   while IFS= read -r line; do       response_time=$(echo $line | awk '{print $10}')       if (( echo "$response_time <= 100" | bc -l )); then           bin="0-100ms"       elif (( echo "$response_time <= 200" | bc -l )); then           bin="101-200ms"       elif (( echo "$response_time <= 500" | bc -l )); then           bin="201-500ms"       elif (( echo "$response_time <= 1000" | bc -l )); then           bin="501-1000ms"       else           bin="1000ms+"       fi       ((response_times[$bin]++))   done < "$LOG_FILE"   echo "Response Time Statistics:"   for bin in "${!response_times[@]}"; do       echo "$bin: ${response_times[$bin]}"   done

  8. 日志文件内容差异分析脚本：比较两个日志文件之间的差异，并输出不同之处。

    #!/bin/bash   LOG_FILE1="/path/to/log1.log"   LOG_FILE2="/path/to/log2.log"   diff -B --side-by-side $LOG_FILE1 $LOG_FILE2

  9. 日志中特定用户活动跟踪脚本：从日志文件中提取特定用户的所有活动记录，并按时间排序。

    #!/bin/bash   LOG_FILE="/path/to/user_activity.log"   USER_NAME="target_user"   awk -v user="$USER_NAME" '$0 ~ user {print}' $LOG_FILE | sort

  10. 日志文件压缩与备份脚本：将日志文件压缩后备份到指定的远程服务器或本地目录。

#!/bin/bash LOG_DIR=“/path/to/logs” BACKUP_DIR=“/path/to/backup” DATE= ( d a t e + (date +%Y%m%d) BACKUP_FILE="logs_backup_ (date+DATE.tar.gz" tar -czvf B A C K U P D I R / BACKUP_DIR/ BACKUPD​IR/BACKUP_FILE $LOG_DIR echo “Backup completed: B A C K U P D I R / BACKUP_DIR/ BACKUPD​IR/BACKUP_FILE”

以上脚本涵盖了日志处理的多个方面，从实时监控到日志备份，为运维人员提供了强大的工具支持。这些脚本可以根据实际需求进行调整和扩展，以适应不同的工作环境和需求。

计算机热门就业方向

从目前市场情况来讲，网络安全的就业前景是非常不错的，2022年的统计数据，网络安全专业的缺口已经增长到140万人。

1、就业岗位多，发展方向广

①就业环境：网络安全可以在计算机科学与技术、信息通信、电子商务、互联网金融、电子政务等领域从事相关工作，还可以在政府机关事业单位、银行、保险、证券等金融机构，电信、传媒等行业从事相关工作。

②就业岗位：网络安全工程师、渗透测试工程师、代码审计工程师、等级保护工程师、安全运维工程师、安全运营工程师、安全服务工程师等。

2、薪资待遇可观，提升较快

作为一个新兴行业，网络安全人才的市场需求远远大于供给，企业想真正招到人才，就必须在薪酬福利上有足够的竞争优势。因此，网络安全领域的薪资近年来也呈现稳步增长的态势。

根据工信部发布的《网络安全产业人才发展报告》显示，网络安全人才平均年薪为21.28万元，整体薪资水平较高。数据显示，网络安全人才年薪主要集中在10-20万元，占比40.62%，与往年持平；其次是20-30万元，占比为38.43%，较2020年占比19.48%有显著提高；而年薪在10万以下人才占比由2020年的19.74%下降至2022年的9.08%。由此可见，网络安全行业作为新兴赛道，尚在快速发展阶段，从业人员薪资水平提升较快，也显示出网络安全行业相对更重视人才留存。

3、职业发展空间大

从网络安全专业学习的主要内容来看，包括linux运维、Python开发、渗透测试、代码审计、等级保护、应急响应、风险评估等。可见该网络安全专业的技术性很强，具有鲜明的专业特点，是一门能够学到真正技术的工科类专业之一。

因此，在职业发展上，网络安全专业除了就业岗位众多之外，由于专业技术性较强，在工作单位将处于技术核心骨干地位，职业发展空间很大。

盘点网络安全的岗位汇总

0****1

岗位一：渗透测试工程师

**岗位释义：**模拟黑客攻击，利用黑客技术，挖掘漏洞，提出修复建议。有些大厂，例如奇安信，甚至会将渗透岗位分为红蓝两方，对候选人的技术要求比较高，大部分刚入行的新人，也将渗透岗位作为后期的发展目标。

岗位职责：

  • 负责对客户网络、系统、应用进行渗透测试、安全评估和安全加固

  • 在出现网络攻击或安全事件时，提供应急响应服务，帮助用户恢复系统及调查取证

  • 针对客户网络架构，建议合理的网络安全解决方案

**工作难度：**5颗星

薪资现状：

0****2

岗位二：安全运维工程师

**岗位释义：**维护网络系统的正常、安全运行，如果受到黑客攻击，则需要进行应急响应和入侵排查安全加固。很多刚毕业入行的新人，基本都从运维做起。

岗位职责：

  • 日常终端维护，操作系统安装加固

  • 完成网络安全设备故障排查、处置

  • 完成相关管理制度文档的编写和提交

**工作难度：**3颗星

薪资现状：

0****3

岗位三：安全运营工程师

**岗位释义：**在运维的基础上，高效可持续地不断提升企业的安全防御能力。

岗位职责：

  • 负责监控、扫描等各类安全策略的制定和优化

  • 负责信息安全事件的应急响应

  • 参与网络安全评估工作、安全加固工作和监控等等

**工作难度：**3颗星

薪资现状：

0****4

岗位四：安全开发工程师

**岗位释义：**顾名思义，对安全产品及平台、策略等进行开发工作。

岗位职责：

  • 负责网络安全产品的系统技术设计、代码开发与实现、单元测试、静态检查、本地构建等工作；

  • 参与公司其他产品的系统技术设计以及研发工作。

**工作难度：**5颗星

薪资现状：

0****5

岗位五：等保测评工程师

**岗位释义：**等保测评也叫等级保护测评，主要负责开展信息安全等级保护测评、信息安全风险评估、应急响应、信息安全咨询等工作 。

岗位职责：

  • 网络安全等级保护测评项目实施；

  • Web渗透测试、操作系统安全加固等安全项目实施配合

**工作难度：**3颗星

薪资现状：

0****6

岗位六：安全研究工程师

**岗位释义：**网络安全领域的研究人才。

岗位职责：

  • 跟踪和分析国内外安全事件、发展趋势和解决方案

  • 承担或参与创新型课题研究

  • 参与项目方案设计，组织推动项目落实，完成研究内容、

  • 负责网络安全关键技术攻关和安全工具研发

**工作难度：**5颗星

薪资现状：

0****7

岗位七：漏洞挖掘工程师

**岗位释义：**主要从事逆向、软件分析、漏洞挖掘工作

岗位职责：

  • 通过模拟实施特定方法所获得的结果，评估计算机网络系统安全状况；

  • 通过特定技术的实施，寻找网络安全漏洞，发现但不利用漏洞。

**工作难度：**5颗星

薪资现状：

0****8

岗位八：安全管理工程师

**岗位释义：**负责信息安全相关流程、规范、标准的制定和评审，负责公司整体安全体系建设。

岗位职责：

  • 全业务系统网络安全技术体系的规划和建设，优化网络安全架构；

  • 负责网络安全相关流程、规范、标准的指定和评审，高效处置突发事件；

  • 负责网络安全防护系统的建设，提升网络安全保障水平；

**工作难度：**4颗星

0****9

岗位九：应急响应工程师

**岗位释义：**主要负责信息安全事件应急响应、攻击溯源、取证分析工作，参与应急响应、攻击溯源、取证分析技术的研究，提升整体重大信息安全事件应急处置能力。

岗位职责：

  • 负责信息安全事件应急响应、攻击溯源、取证分析工作；

  • 对安全事件的应急处置进行经验总结，开展应急响应培训；

  • 负责各业务系统的上线前安全测试（黑盒白盒）及渗透测试工作；

  • 参与应急响应、攻击溯源、取证分析技术的研究，提升整体重大信息安全事件应急处置能力。

  • 跟踪国内外安全热点事件、主流安全漏洞、威胁情报、黑灰产动态并进行分析研究，形成应对方案；

**工作难度：**4颗星

薪酬现状：

10

岗位十：数据安全工程师

**岗位释义：**主要对公司的数据安全的日常维护和管理工作，确保公司数据安全。

岗位职责：

  • 负责数据安全日常维护和管理工作，包括数据安全审核、数据安全事件的监控与响应、安全合规的审计与调查等；

  • 负责数据安全标准规范的制定和管理，包括数据安全需求识别、风险分析、数据分级分类、数据脱敏、数据流转、泄露防护、权限管控等；推进相关安全管控策略在平台落地、执行。

  • 负责开展与数据全生命周期管理有关的各项数据安全工作;

  • 负责跨平台、跨地域数据传输、交互等数据安全方案制定与落地

  • 定期组织开展数据安全自评工作，发现潜在数据安全风险，制定相应的管控措施，并推进落实整改。

**工作难度：**4颗星

薪酬现状：

网络安全学习资源分享:

给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！

因篇幅有限，仅展示部分资料，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，需要点击下方链接即可前往获取，或微信扫描下方二维码领取~

**读者福利 |** 优快云大礼包：《网络安全入门&进阶学习资源包》免费分享 **（安全链接，放心点击）**

在这里插入图片描述

👉1.成长路线图&学习规划👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过网络安全的同学，我帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

在这里插入图片描述
在这里插入图片描述

👉2.网安入门到进阶视频教程👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，其中一共有21个章节，每个章节都是当前板块的精华浓缩。****（全套教程文末领取哈）
在这里插入图片描述

在这里插入图片描述

👉3.SRC&黑客文档👈

大家最喜欢也是最关心的SRC技术文籍&黑客技术也有收录

SRC技术文籍：

在这里插入图片描述

黑客资料由于是敏感资源，这里不能直接展示哦！****（全套教程文末领取哈）

👉4.护网行动资料👈

其中关于HW护网行动，也准备了对应的资料，这些内容可相当于比赛的金手指！

在这里插入图片描述

👉5.黑客必读书单👈

在这里插入图片描述

👉6.网络安全岗面试题合集👈

当你自学到这里，你就要开始思考找工作的事情了，而工作绕不开的就是真题和面试题。
在这里插入图片描述
所有资料共282G，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，可以扫描下方二维码或点击链接免费领取~
**读者福利 |** 优快云大礼包：《网络安全入门&进阶学习资源包》免费分享 **（安全链接，放心点击）**

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值