Linux入门之日志分析

Linux 系统下安装 uv 并在 PyCharm 中使用指南 摘要:本文介绍了如何为Python开发者安装和使用高性能工具uv,作为pip和virtualenv的替代方案。文章详细讲解了在Linux系统下通过脚本独立安装uv的步骤,以及如何利用其内置的Python版本管理功能。重点说明了在PyCharm IDE中配置uv虚拟环境的方法,包括创建新项目、管理依赖包和解决常见问题。uv凭借Rust编写的高效性能,能显著提升包安装速度,特别适合大型Python项目开发。通过本文指南,开发者可以快速上手这一现代化工具链。 阅读详情


前言

文章的内容来源拉钩教育上的课程学习,通过写博客的方式,更好的提高对该知识的掌握。


一、准备

安装htop指令

sudo yum install htop

下载目标文件

#centos
#安装git
sudo yum install git
#下载access.log资源
git clone https://github.com/nickwang6/pv.git

查看目标文件

  • 查看大小
ls -l access.log --block-size=M
  • 查看文件
  • less access.log

在这里插入图片描述

  • 相关参数
    • IP地址
    • 时间
    • HTTP请求方法、路径、协议版本、返回状态码
    • User Agent

二、Page view

PV分析

  • 所谓PV分析(Page view),用户每访问一个页面就是一次Page View 对于nginx的access_log来说,分析PV非常简单
  • wc -l access.log
    在这里插入图片描述

PV分组

  • 通常一个日志可能有几天的PV,为了数据直观,有时候需要按天进行分组,为了简化这个问题,查看日志有哪些天的日志。

  • 使用awk ‘{print $4}’ access.log | less可以看到如下结果。

  • awk是一个处理文本的领域专有语言。这里就牵扯到领域专有语言这个概念,英文是Domain Specific Language。领域专有语言,就是为了处理某个领域专门设计的语言。比如awk是用来分析处理文本的DSL,html是专门用来描述网页的DSL,SQL是专门用来查询数据的DSL……

  • awk '{print $4}' access.log | less
    在这里插入图片描述

  • 按天统计awk '{print substr($4,2,11)} ' access.log | head -n 10
    在这里插入图片描述上图中,我们使用awk的substr函数,数字2代表从第 2 个字符开始,数字11代表截取 11 个字符。

  • awk '{print substr($4,2,11)} ' access.log | sort | uniq -c
    在这里插入图片描述可以看出18号的pv量为11347,19号的pv量为3272

分析UV

  • UV(uniq visitor),也就是统计访问人数,可以通过IP访问来统计UV
    -awk '{print $1 } ' access.log | sort |uniq | wc -l
    在这里插入图片描述可以得出日志文件中一共有1050个IP

  • 分组分析UV

    • 创建 sum.sh文件
#!/usr/bin/bash

awk '{print substr($4, 2, 11) " " $1}' access.log |\

	sort | uniq |\

	awk '{uv[$1]++;next}END{for (ip in uv) print ip, uv[ip]}'
  1. 文件首部使用#! 表示我们将使用后面的 /usr/bin/bash执行这个文件
  2. 第一次awk 我们将第四列日期和第一列的IP地址拼接起来
  3. sort 把整个文件进行一次排序,相当根据日期排序,再根据IP排序
  4. 接下来我们用uniq去重,日期+ip相同的就只保留一个
  5. 最后的awk我们再根据第 1 列的时间和第 2 列的 IP 进行统计。

awk本身是逐行进行处理的。因此我们的next关键字是提醒awk跳转到下一行输入。 对每一行输入,awk会根据第 1 列的字符串(也就是日期)进行累加。之后的END关键字代表一个触发器,就是 END 后面用 {} 括起来的语句会在所有输入都处理完之后执行——当所有输入都执行完,结果被累加到uv中后,通过foreach遍历uv中所有的key,去打印ip和ip对应的数量。

#终端输入该命令
bash sum.sh

在这里插入图片描述

Linux入门手札:从Shell交互到日志分析的实战路径 Linux不是命令集合,而是以Unix哲学为内核的操作系统实践体系。理解Shell交互机制、文件权限模型与进程生命周期,是掌握服务器运维和自动化脚本开发的基础前提。文本处理三剑客(grep/awk/sed)构成日志分析、配置解析与数据清洗的核心能力链,而Bash作为跨平台兼容性最强的默认Shell,支撑着从本地调试到生产部署的全场景需求。本文聚焦真实工作流驱动的学习路径,通过Nginx日志分析等高频任务,串联权限控制、进程管理、管道思维与最小权限实践,帮助开发者、测试工程师及数据分析师快速跨越‘能用’到‘可 阅读详情

相关推荐

No.40 蓝队 | 日志分析入门:Windows与Linux日志解析及攻击识别

在网络安全领域,日志分析是一项至关重要的技能。通过对系统和应用程序日志的深入分析,能够及时发现安全问题、追溯攻击行为,为网络安全防护提供有力支持。下面将围绕Windows日志、Linux日志以及日志分析相关知识展开学习笔记。

聚焦网络安全,以多元语言优势汲取知识,分享生动有趣的学习与技术心得。 859

uv工具使用记录(Linux系统)

这个命令会在当前目录下创建一个项目名为Demo的文件夹,并在这个文件夹里面自动生成三个文件——main.py、pyprojecy.toml、README.md。然后就可以使用如下命令安装相关项目依赖(如gradio库),不需要切换进虚拟环境,因为这个命令。cd进入项目文件夹,然后打开pyprojecy.toml文件,在最后添加如下代码,实现针对。直接在pycharm中打开Demo这个项目文件夹,可以使用命令查看当前可用的python版本。会自动创建.venv的虚拟环境。不需要指定解释器和环境。

weixin_45820166的博客 1155

Linux应急响应实战:从日志分析入门到攻击链还原

日志分析是网络安全中检测与响应的基础技术,它记录了系统、应用和用户活动的详细轨迹,如同数字世界的“行车记录仪”。其核心原理在于通过收集、解析和关联分散的日志数据,识别异常模式与攻击痕迹。这项技术的价值在于能够帮助安全人员从被动防御转向主动发现,在安全事件发生后快速定位根源、控制影响并恢复系统。在实际应用场景中,无论是应对服务器入侵、数据泄露还是恶意软件活动,高效的日志分析都是还原攻击链条、收集取证证据的关键。本文以Linux环境为例,深入探讨如何通过分析认证日志、Web访问日志等关键数据源,结合SSH暴力破

weixin_30756499的博客 323

Linux 系统中,uv 是一款由 Rust 编写的超高速 Python 包管理与虚拟环境工具

在 Linux 系统中,是一款由 Rust 编写的超高速 Python 包管理与虚拟环境工具,旨在替代传统的pipvirtualenv等工具,号称能带来的性能提升。

ZhuBin365的博客 331

Linux审计日志分析实战:ausearch与aureport从入门到精通

在Linux系统运维与安全领域,日志分析是核心技能之一。系统日志记录了内核与用户空间的关键事件,是排查问题、监控行为、保障安全的重要数据源。其原理在于操作系统通过审计框架(Audit Framework)对预设规则的事件进行结构化记录,形成包含时间戳、用户、进程、系统调用等字段的审计日志。这项技术的价值在于将海量、原始的日志数据转化为可操作的安全洞察,帮助管理员实现入侵检测、合规审计与行为分析。典型的应用场景包括追踪用户操作、调查安全事件、生成合规报告以及监控敏感文件访问。本文聚焦于Linux审计框架自带的

weixin_30231327的博客 315

相机标定-张正友棋盘格标定法

(X,Y,Z)为在世界坐标系下一点的物理坐标 ( u , v ) 为该点对应的在像素坐标系下的像素坐标 引入齐次坐标的原因:引入齐次坐标的目的是为了升维,将坐标从二维坐标变为三维坐标。 2.相机成像过程 相机成像系统中,共包含四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。 (1)世界坐标系(,,) 描述目标在真实世界中的位置引入的参考坐标系。 (2)相机坐标系(,,) ...

qq_41275123的博客 1万+

Python包管理工具之UV

uv是由Astral团队(也是 Ruff 的作者)开发的一款超快的 Python 包安装器和解析器。它用Rust编写,目标是替代 pip、pip-tools、virtualenv、poetry 等工具的部分功能,同时速度提升10~100 倍!

asdurt的博客 726

基于IC617下Layout XL的使用

基于IC617下Layout XL的使用

weixin_43816759的博客 1万+

python uv 包管理

uv是一个高性能的 Python 包管理工具,它不仅能够高效地处理包管理和依赖解析,还提供了对 Python 版本管理的支持。这意味着你可以使用uv来安装和管理多个不同版本的 Python。以下是使用uv。

东方佑 7907

信号完整性入门:为什么工程师总爱用dB来描述衰减?

本文深入探讨了信号完整性分析中工程师偏爱使用dB(分贝)单位描述衰减的原因。dB通过对数转换,将大动态范围的乘除关系简化为加减运算,极大地方便了多级系统分析和链路预算计算。文章重点解释了-3dB点的核心意义,即功率衰减一半的临界状态,并阐述了其在评估信道带宽、插入损耗与回波损耗等关键参数中的实际应用,是高效工程思维和沟通的重要工具。

weixin_29263201的博客 390

ArcGIS License Server点击启动没反应,许可管理器无法启动怎么办

4 当我们再打开ArcGIS License Server Administrator的时候。3 在【服务】中找到【ArcGIS License Manager】双击。无法启动ArcGIS License Server的情况。在使用ArcGIS的过程中,我们经常会遇到。专注GIS领域知识分享,交流行业软件技巧。欢迎关注,不定期分享GIS各种问题和技巧。1 右击我的电脑——【管理】服务状态——启动,确定即可。启动类型选择——自动。

GIS蒲公英的博客 2万+

[Linux入门] Linux 文件系统与日志分析入门指南

本文系统介绍了Linux文件系统的核心机制与实用维护技巧。主要内容包括:1)文件系统底层原理,重点解析inode索引节点与block数据块的关系;2)误删文件恢复方案,针对EXT3/EXT4和XFS文件系统分别提供extundelete和xfs_undelete等工具的使用方法;3)日志分析技术,涵盖系统日志分类、优先级划分及常用查询命令。通过深入理解存储机制、掌握数据恢复手段和日志分析方法,可有效提升Linux系统管理能力。

kura_tsuki的博客 1662

⭐️VMwareWorkstation17.0虚拟机安装搭建Windows 7虚拟机(完整图文详细步骤含配置VMware Tools教程)

本教程为大家提供了从安装VMware Workstation 17.0开始,到在虚拟机上成功搭建Windows 7专业版系统的完整步骤。我们详细介绍了准备阶段所需的软件和硬件要求,以及在VMware中配置和安装Windows 7系统的每一步操作。此外,我们还特别提到了如何在虚拟机上配置VMware Tools,以便更好地与宿主机进行交互。 通过本教程的学习,读者不仅能够掌握在VMware Workstation 17.0上安装Windows 7虚拟机的技能,还能了解到如何配置虚拟机的硬件以及安装VMwar

Python老吕的博客 2万+

Linux日志分析入门:tail -f命令详解与实操指南

作为一个刚接触Linux的新手,我花了不少时间研究这个命令的各种用法,现在把学习心得整理出来,希望对同样入门的朋友有所帮助。它提供了一个在线的终端模拟环境,不需要安装任何软件就能练习Linux命令,对于新手来说非常友好。特别是它的实时预览功能,可以立即看到命令执行结果,学习效率很高。最近在学习Linux系统管理时,发现日志分析是个必备技能,而。参数后,它可以实时跟踪文件的变化,非常适合用来监控日志文件。命令的基本功能是显示文件的末尾部分,而加上。命令的朋友,我强烈推荐试试这个平台。在学习过程中,我发现。

RubyLion28的博客 1044

STM32串口控制LED灯的亮灭

STM32中的串口控制LED灯的亮灭,分为两种方式,一种是直接发送数字0和1来控制灯的亮灭,另一种是通过发送字符串来控制。 我所使用的开发板主控芯片是STM32F401RET6,主频84MHz, 首先要进行串口的初始化: /* 函数功能:串口的初始化 函数名:Usart_Init 返回值:无 参数:u32 brr 备注: USART1_TXD->PA9 USART1_RXD->PA10 */ void Usart_Init(u32 brr) { float div; u16 div

博客 2万+

4位无符号比较器设计

4位无符号比较器设计

好好学习,天天向上 7891

linux入门6—日志分析与故障排除

linux入门,简单日志分析与故障排除

W0ngk,一个安全菜鸡,一直在模仿,尚未有超越。 2722

《YOLO多模态创新改进专栏目录 》全网独家创新,多模态融合改进教程,包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进,答疑群提供完整项目,永久更新中

🔥《YOLO多模态创新改进专栏》重磅来袭!🚀 本专栏汇集最新顶会顶刊创新点,提供1000+篇YOLO多模态改进方案(涵盖v8-v26),包含: 多模态融合策略(早期/中期/后期) 损失函数优化 独家创新模块 详细改进步骤 ✨特色服务: ✔️ 配套完整可运行项目 ✔️ 专业答疑群支持(含非计算机专业指导) ✔️ 持续更新至2026年 ✔️ 适用目标检测/OBB/分割/分类等多任务 💡适合人群: 科研人员 | 研究生 | 需发SCI/CCF论文者 环境要求宽松,新手友好,助力快速产出科研成果! 📈早订优

Ai缝合怪、助力小伙伴高效发论文 751

Linux 日志分析入门:auth.log 里的入侵痕迹

认证日志(如 /var/log/auth.log 或 /var/log/secure)是主机入侵检测的关键线索。它记录了登录尝试、提权操作等关键信息。主要内容包括: SSH登录:Failed password 表示爆破尝试,Accepted 表示成功登录,需关注来源IP、账号和认证方式(密码/密钥)。 用户操作:sudo 提权、su 切换用户及账号变更(如 useradd)可能暴露攻击者行为。 分析技巧:通过 grep、awk 等命令快速统计高频IP、失败次数,对比历史基线识别异常(如非工作时间登

数据知道的博客 958

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Linux 日志分析三剑客:`grep` + `awk` + `sed` 从入门到精通

Linux三剑客(grep/awk/sed)是日志分析的核心工具:grep擅长模式查找,支持正则表达式和多种过滤选项;awk专注于字段提取和统计分析,内置变量和数组功能强大;sed用于流式文本编辑,支持替换、删除等操作。三者通过管道组合可完成完整的日志处理流程:先用grep过滤目标日志,再用awk提取关键字段并统计,最后用sed进行格式清洗。文章详细介绍了每个工具的基本语法、常用选项和实战案例,包括Nginx日志分析、系统日志监控等场景,并提供了正则表达式速查表和性能优化建议,帮助用户高效处理各类日志分析任

油墨香^-^的博客 500

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

一文带你看懂Linux日志分析(非常详细)零基础入门到精通,收藏这一篇就够了

内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

leah126的博客 8695

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

CentOS Stream 9入门学习教程,从入门到精通,Linux日志分析工具及应用 —语法详解与实战案例(17)

本文介绍了Linux系统中日志管理的核心工具和方法,主要内容包括: Linux日志类型:系统日志、安全日志、应用日志等分类及默认存储路径 rsyslogd日志服务: 配置语法(facility.priority action) 实战案例(自定义应用日志、远程日志服务器、模板格式) logrotate日志轮替: 配置语法和常用选项 按时间/大小切割日志 压缩和删除旧日志 文章提供了详细的配置示例和命令操作,涵盖日志收集、存储、轮替等全流程管理,适合系统管理员和运维人员参考使用。

qq_45746668的博客 866

Linux 日志分析三剑客:`grep` + `awk` + `sed` 从入门到精通(附 Nginx/系统日志实战案例)

在 Linux 系统中,日志是系统的“黑匣子”。无论是排查服务异常、分析用户行为,还是检测安全入侵,你都离不开对日志文件的高效处理。每天面对成 GB 的日志,手动翻找无异于大海捞针。而掌握grepawksed这三大文本处理神器,你就能像“数据侦探”一样,几秒内从海量日志中精准提取关键信息。本文将带你从基础语法到高级技巧,结合Nginx 访问日志、系统日志(syslog)、安全日志(auth.log)等真实场景,彻底掌握这三位“日志分析三剑客”。grepawksed是 Linux 文本处理的“三驾马车”

用文字记录技术,用分享回馈社区,用坚持见证成长 1974

《Linux入门教程》课程学习(15)——第15章 Linux系统日志及日志分析

Linux系统拥有非常灵活和强大的日志功能,可以保存几乎所有的操作记录,并可以从中检索出我们需要的信息。 大部分Linux发行版默认的日志守护进程为 syslog,位于 /etc/syslog 或 /etc/syslogd,默认配置文件为 /etc/syslog.conf,任何希望生成日志的程序都可以向 syslog 发送信息。 Linux系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息,这些信息对管理员了解系统的运行状态是非常有用的,所以应该把它们写到日志文件中去。完成这个过程的程序就是s.

qq_34573534的博客 233

Linux日志分析入门:使用grep和awk发现服务器异常访问

服务器日志中隐藏着什么秘密?本文是一篇Linux日志分析入门指南,将手把手教你如何使用grep和awk两大神器,像侦探一样分析日志,快速发现并定位潜在的安全威胁。

Clownseven的博客 792

Linux 日志分析实战:awk 统计访问量最高 IP(CTF 入门练习)

练习 1:统计访问来源,分值 250pts 任务:从日志文件中,找出访问次数最多的客户端 IP。必须使用awk工具提取日志内 IP;通过sortuniq -c完成 IP 访问次数统计;最终输出按访问次数从高到低降序排列。忘记 sort 直接使用 uniq -c:相同 IP 不相邻会导致计数完全错误;排序计数时只用sort -r不加-n:数字字符串会出现99>100这类排序错乱;错误使用awk $0打印整行,没有提取 IP 字段,不符合题目硬性要求。

SoleShow_的博客 263
上一篇: linux入门之网络指令
下一篇: Web-UI自动化测试实战
PyCrawlFlutter Lab
博客等级 码龄7年 701粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值