阿里腾讯云 hadoop+spark集群搭建（1）

最新推荐文章于 2025-05-03 11:23:19 发布
原创 最新推荐文章于 2025-05-03 11:23:19 发布 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在阿里云和腾讯云上搭建Hadoop 3.1.1和Spark集群的过程，包括系统环境准备、软件安装、SSH免密登录设置、HDFS和YARN配置等关键步骤。

阿里腾讯云 hadoop+spark集群搭建（1）

linux版本： centos7

hadoop版本： 3.1.1

手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。

用阿里云做namenode，腾讯云做datanode。

目标是搭好hdfs和yarn，后面搭spark和hive。

  1. 更新和下载软件包。安装jdk 版本为1.8.0

    $ sudo yum -y update
$ sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel.x86_64 net-tools rsync mlocate wget vim gcc zlib-dev openssl-devel sqlite-devel bzip2-devel python-devel

    这里通过yum安装的jdk路径默认是在 /usr/lib

    查找方法为：

    $ whereis java  
（返回java: /usr/bin/java /usr/lib/java /etc/java....）
$ ll /usr/bin/java  
（返回/usr/bin/java -> /etc/alternatives/java，是软链接）
$ ll /etc/alternatives/java 
（返回/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre/bin/java）

    由于系统中可能有多版本的jdk，/etc/alternatives/java软链接用于指定真正使用的jdk版本。

    /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64就是安装的位置。

  2. 设置安全规则（针对namenode）

    上阿里云加入安全组规则，由于是作学习用，直接加入规则

    端口范围： 1/65530  授权对象：0.0.0.0/0

  3. 关闭防火墙

    $ sudo systemctl stop firewalld.service 
$ sudo systemctl disable firewalld.service

  4. 修改hosts文件，这里要注意！

    阿里云namenode，其hosts如下：

    111.**.**.*8   slave1  （这里写的是腾讯云服务器的外网IP）
134.**.**.*16  slave2  （这里写的是腾讯云服务器的外网IP）
192.**.*.*12   master  （这里写的是阿里云服务器的内网IP）

    腾讯云的两台datanode，其hosts如下：

    39.**.2**.*2 master    （这里写的是阿里云服务器的外网IP）
172.**.*.9 slave1      （这里写的是腾讯云服务器的外网IP）
172.**.*.7 slave2       (这里写的是腾讯云服务器的外网IP）

  5. 建立新用户并赋予其权限

    $ adduser hadoop
$ passwd hadoop
(输入hadoop用户的密码)
$ su hadoop

    此时从root身份切换到hadoop。

  6. 设置ssh免密登陆

    每台机器生成公私钥，namenode把自己的公钥拷到两个datanode中。datanode把自己的公钥拷到namenode中，并将可靠的公钥信息写入/.ssh/authorized_keys文件中。

  7. 下载hadoop并解压缩，并建立所需文件夹

    $ curl -O https://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
$ mkdir hadoop
$ tar -zxvf hadoop-3.1.1.tar.gz -C ~/hadoop/
$ cd hadoop/hadoop-3.1.1
<!--在Hadoop目录下建立tmp、dfs文件夹，并在dfs文件夹下建立data和name-->
<!--tmp用于存放缓存，dfs设置为hdfs信息的存放路径-->
$ mkdir tmp & mkdir dfs
$ cd dfs
$ mkdir data & mkdir name

  8. 配置文件与环境变量

    配置core-site.xml、hdfs-site.xml、yarn-site.xml、workers、hadoop-env.sh。

     

    • core-site.xml

      <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/hadoop-3.1.1/tmp/</value>
    </property>
</configuration>

    • hdfs-site.xml

      <configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/data</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

    • yarn-site.xml

      <configuration>
     <property>
         <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

    • hadoop-env.sh

      在第54行处加入JAVA_HOME变量。

      # The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre

    • workers

      slave1
​
slave2

    接下来，在/etc/profile.d下新建两个脚本 jdk-1.8.sh 和 hadoop-3.1.1.sh 。

    • jdk-1.8.sh

      # !/bin/sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64
export JRE_HOME=${JAVA_HOME}/jre
export PATH=${JRE_HOME}/bin:$PATH
(因为java是在$JAVA_HOME/jre/bin之中的，所以PATH中不是$JAVA_HOME而是$JRE_HOME)

    • hadoop-3.1.1.sh

      #!/bin/sh
export HADOOP_HOME="/home/hadoop/hadoop/hadoop-3.1.1"
export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    $ source /etc/profile

    这样每次服务器启动，都会自动运行这两个脚本，设置好相关的环境变量。

  9. 格式化hdfs并开启（在namenode上）

    $ hdfs namenode -format
$ start-all.sh
<!-- 启动... -->

    成功的话，namenode中执行jps命令会显示4个进程：

    $ jps
11270 SecondaryNameNode
26747 Jps
11052 NameNode
11487 ResourceManager

    datanode中执行jps命令会显示3个进程：

    $ jps
18468 DataNode
23029 Jps
18605 NodeManager

    访问namenode公网的8088端口，Active Nodes 显示为2。

    访问namenode公网的50070端口，

    完成。

如果namenode或者datanode在启动时碰到问题，就使用对应的机器进入到其hadoop目录下的logs文件夹中查看日志信息，再根据日志信息去解决问题。

注意一个问题：

如果你执行了多次hdfs namenode -format，会出现datanode无法成功启动的情况，此时50070页面Live Nodes为0，8088页面为2。

原因是该命令清空了hadoop目录下dfs/data下的数据，但是对于datanode却没有，导致版本对不上号，解决办法是：删除datanode中dfs/data下的数据，重新启动。不要随意执行namenode的format命令。

腾讯云服务器下利用 Docker 极速搭建 Spark 集群和 HDFS 集群
Harrytsz的博客
03-25 3514
搭建 Spark 和 hdfs 的集群环境会消耗一些时间和精力，处于学习和开发阶段的同学关注的是 Spark应用的开发，他们希望整个环境能快速搭建好，从而尽快投入编码和调试，今天咱们就借助 Docker 容器，极速搭建和体验 Spark 和hdfs 的集群环境. 实战环境信息 以下是本次实战涉及的版本号： 操作系统：腾讯云 Ubuntu 服务器 hadoop：2.8 Spark：2.3 docker：17.03.2-ce docker-compose：1.23.2 极速搭建 Spark 集群和 hdfs
基于腾讯云CVM搭建Hadoop集群及数据迁移实践
编程杂谈
01-08 2470
一、需求和目标 本文主要介绍如何在腾讯云CVM上搭建Hadoop集群，以及如何通过distcp工具将友商云Hadoop中的数据迁移到腾讯云自建Hadoop集群。也可以考虑使用轻量服务器作为替代。 二、环境说明 JDK版本：jdk1.8.0_171 Hadoop版本：hadoop-2.7.4 主机 角色 软件 腾讯云tx-namenode 172.16.2.234 NameNode/SecondaryNameNode/ ResourceManager HDFS/YARN 腾讯云tx-dat
阿里云+腾讯云Centos 7.4上搭建spark2.3.1集群
侯先森_Smile的博客
12-03 608
本来以为很简单的配置，没想到中途出现了很多意想不到的问题，于是总结一波。 基本流程： ssh免密码登录配置。（如果不配置，在启动集群时会要求你输入各个服务器的密码。如果节点过多，就GG了。） 配置jdk环境 （本人使用的是jdk 1.8） 下载并且配置Hadoop-2.6.0-cdh5.15.0 （最重要的配置，因为spark是以其hdfs为基础的） 下载并...
腾讯云搭建Hadoop3集群
GitChat
02-02 647
本详细的描述了使用腾讯云搭建Hadoop2.7集群
腾讯云搭hadoop集群
iTom's blog
05-17 774
Environment 腾讯学生云 CentOS 7.6，64 位 Non-distributed & Pseudo-distributed 这部分是在一部机上先搞搞环境，之后作为 master，包括非分布式和伪分布式的例程测试。有些配置步骤后面配 slave 的时候会有重复。 account 创建 hadoop 账户：useradd -m hadoop -s /bin/bash； 改密码为 hadoop：passwd hadoop，输入 hadoop； 赋 sudo 权限：visudo 打开
阿里云和腾讯云搭建Hadoop、Spark集群
qq_41153405的博客
08-12 1642
前言 Linux操作系统为CentOS7 ，与CentOS6以及Ubuntu命令有稍许不同； 在创建hadoop用户之后，所有的操作都是使用hadoop用户去操作。当然可以使用root已经其他用户去操作，但非root操作注意权限问题； jdk需要1.8以上，安装的Spark和Hadoop需注意他们的版本依赖关系，可以去官网查看； 安装包 jdk1.8.0_201+hadoop-2.6.5+sca...
一台阿里云2台腾讯云服务器搭建Hadoop集群
热门推荐
gakki_smile的博客
08-15 1万+
1.准备工作：jdk安装（个人选择的1.8版本） 2.ssh免密登陆： 关闭放火墙（可以将要开放的端口加入防火墙的开发端口中，学习用就直接关闭防火墙了）： 1）关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 firewa
Hadoop+Spark构建大数据日志分析平台的完整指南
AI天才研究院
05-03 1187
随着互联网的快速发展，各类系统产生的日志数据量呈爆炸式增长。这些日志数据蕴含着丰富的信息，如用户行为、系统运行状态等。对这些日志数据进行有效的分析，可以帮助企业做出更明智的决策，提升系统性能和用户体验。本指南的目的是帮助读者利用Hadoop和Spark构建一个高效、可扩展的大数据日志分析平台，涵盖从数据采集、存储、处理到分析的全过程。
Hadoop系列 (六)：Spark搭建
Eric Ray的博客
10-14 1265
基于hadoop的spark搭建
hadoop-2.6.4集群编译搭建-阿里云和腾讯云
i立志的专栏
07-31 3764
腾讯云阿里云 hadoop集群编译搭建环境准备阿里云配置：[hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23 03:35:39 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux [hadoop@lizer_ali ~]$ head -n
腾讯云Hadoop安装及集群环境搭建完全分布式
SnotFroth的专栏
08-24 1989
腾讯云服务器搭建Hadoop
阿里腾讯云 hadoop+spark集群搭建（2）
karwik的博客
10-29 744
阿里腾讯云 hadoop+spark集群搭建（2） linux版本： centos7 hadoop版本： 3.1.1 spark版本： 2.3.2 在1中已经搭建好了hadoop，接下来就是spark。 为方便起见，用shell脚本完成下载spark、hive（后面再搭，先把spark跑起来）的操作。 download_file.sh ------------------------------...
hadoop官方文档_腾讯云Hadoop集群搭建。
weixin_39951378的博客
11-24 315
0基础入门大数据第一步，Hadoop集群搭建，参考尚硅谷大数据开发课程。最近腾讯云十周年活动，1核2G轻量应用服务器99/年，买了三台准备搭集群。购买服务器腾讯云官网->限时秒杀->选好1核2G服务器（有钱也可以选个4核8G的）->微信扫码登陆->实名认证->选地区（我默认是选的南京1，一定要选一个地区！！！一定要选一个地区！！！一定要选一个地区！！！）->Ce...
云服务器搭建hadoop集群
Willian
05-13 3936
1：环境准备 3台服务器配置如下公网ip 119.29.186.83 内网ip10.104.157.113 公网ip 119.29.250.47 内网ip 10.104.9.181 公网ip 119.29.251.99 内网ip 10.104.196.48 以上全是centos 7.22：配置hostname 在3台机器上分别执行//主服务器 vim /etc/sysconfig
手把手教你在腾讯云上搭建hadoop3.x伪集群
axy_shelly的博客
07-02 1221
一、环境准备 CentOS Linux release 7.5.1804 (Core) 系统下 安装 创建文件夹 $ cd /home/centos $ mkdir software $ mkdir module 将安装包导入software文件夹 $ cd software # 然后把文件拖进去即可 这里使用的安装包是 /home/centos/software/hadoop-3.1.3.tar.gz /home/centos/software/jdk-8u212-linux-x64.tar.gz
使用阿里云服务器通过docker搭建spark集群
qq_51287641的博客
07-07 1018
参考文章：https://blog.youkuaiyun.com/qq_38234785/article/details/104168467 我采用的是阿里云服务器的centos，安装docker后，拉取Ubuntu镜像，配置好所需环境后commit为一个新的镜像ubuntu:spark，之后再docker run 三个ubuntu:saprk,进行搭建。 基本步骤都是按照参考文章来的，这里主要记录一下遇到的一些问题及解决方法。 问题及解决方法问题一：压缩包下载问题二： 端口问题三：参考文章中有一些小错误12问题四：h
spark集群搭建
ifreezn的博客
03-16 1344
本文主要是基于python环境下的spark集群搭建
在多台阿里云服务器上进行Spark部署及wordcount实验
Clearlove灬Star
04-10 758
一、安装Scala 1.到官网下载Scala安装压缩包，本次试验下载的为2.12.8版本。 2.h1用户下新建Scala文件夹，并将下载好的压缩包解压缩到Scala文件夹中。 3.配置 /etc/profile文件 4.source /etc/profile使环境变量配置生效。 二、安装Spark 1.到官网下载Spark安装压缩包，本次试验下载的为2.4.0版本。 2.在h1用户下新建Spar...
【项目内容】 1. 云平台准备 注册并登录一个主流云平台账号（如阿里云、腾讯云、AWS等）。 创建一台云服务器（ECS），安装Linux操作系统（如Ubuntu）。 配置安全组，确保本地能通过SSH连接到服务器。 2. 环境搭建 安装Java运行环境（JDK）。 安装单节点Hadoop或Spark环境（本地模式即可）。 可选：使用Jupyter Notebook或Zeppelin作为开发工具。 3. 数据准备 使用真实的Web服务器访问日志（Apache日志格式）或模拟生成日志文件。 将日志文件上传至云服
最新发布
06-16
<think>我们正在回答用户关于在云平台上搭建Hadoop/Spark环境并处理Web日志的问题。用户特别提到了阿里云、腾讯云或AWS。我们将分步骤说明，包括创建ECS实例、安装Java、配置单节点Hadoop/Spark，以及上传和处理Apache日志文件。注意：由于是单节点环境，我们使用Hadoop的独立模式（LocalMode）或Spark的本地模式（LocalMode）即可。步骤概述：1.在云平台创建ECS实例（以阿里云为例，其他类似）2.安装JavaJDK3.安装和配置单节点Hadoop（可选）4.安装和配置Spark（可选，也可以独立安装Spark而不安装Hadoop）5.上传ApacheWeb服务器日志文件6.使用Hadoop/Spark处理日志文件（示例：统计访问次数最多的IP）由于用户要求的是单节点环境，我们不需要配置集群。下面详细说明每个步骤。###1.创建ECS实例在阿里云控制台：-登录阿里云，进入ECS控制台。-点击“创建实例”，选择地域和可用区。-选择实例规格（如2核4G，根据需求选择）。-选择镜像：Ubuntu20.04或CentOS7（这里以Ubuntu20.04为例）。-设置存储（默认40GB系统盘，可根据需要增加数据盘）。-设置安全组：开放SSH(22)、Web服务端口(80,443)以及Hadoop/Spark相关端口（如9000,8080等，单节点环境通常不需要，但若需要WebUI则开放）。-设置登录凭证（密钥对或密码）。-创建实例并获取公网IP。其他云平台步骤类似。###2.安装JavaJDK通过SSH连接到ECS实例，执行以下命令（以Ubuntu为例）：```bash#更新系统sudoaptupdate#安装OpenJDK8sudoaptinstallopenjdk-8-jdk-y#验证安装java-version```如果显示Java版本信息，则安装成功。###3.安装和配置单节点Hadoop（可选）Hadoop在单节点模式下运行，不需要启动HDFS和YARN服务，仅作为本地文件系统使用。####下载和解压Hadoop```bash#下载Hadoop（以3.3.1为例）wgethttps://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gztar-xzvfhadoop-3.3.1.tar.gzsudomvhadoop-3.3.1/usr/local/hadoop#设置环境变量echo'exportHADOOP_HOME=/usr/local/hadoop'>>~/.bashrcecho'exportPATH=$PATH:$HADOOP_HOME/bin'>>~/.bashrcsource~/.bashrc```####配置Hadoop环境编辑`$HADOOP_HOME/etc/hadoop/hadoop-env.sh`，设置JAVA_HOME：```bashecho"exportJAVA_HOME=$(readlink-f/usr/bin/java|sed's:bin/java::')"|sudotee-a/usr/local/hadoop/etc/hadoop/hadoop-env.sh```由于是单节点，不需要修改其他配置文件（如core-site.xml,hdfs-site.xml等），默认就是本地文件系统。验证Hadoop：```bashhadoopversion```###4.安装和配置Spark（可选）Spark可以独立运行，不需要Hadoop，但需要Java。我们使用Spark的本地模式。####下载和解压Spark```bash#下载Spark（以3.1.2为例）wgethttps://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgztar-xzvfspark-3.1.2-bin-hadoop3.2.tgzsudomvspark-3.1.2-bin-hadoop3.2/usr/local/spark#设置环境变量echo'exportSPARK_HOME=/usr/local/spark'>>~/.bashrcecho'exportPATH=$PATH:$SPARK_HOME/bin'>>~/.bashrcsource~/.bashrc```验证Spark：```bashspark-shell--version```###5.上传ApacheWeb服务器日志文件Apache日志通常位于`/var/log/apache2/access.log`（Ubuntu）或`/var/log/httpd/access_log`（CentOS）。但我们现在是在云服务器上，假设用户已有日志文件，需要上传到ECS实例。####上传文件到ECS-使用`scp`命令将本地日志文件上传到ECS实例：```bashscp-i[密钥文件路径][本地日志文件路径]ubuntu@[ECS公网IP]:~/```####日志格式Apache日志的常见格式（CombinedLogFormat）：```127.0.0.1--[10/Oct/2023:13:55:36+0800]"GET/index.htmlHTTP/1.1"2002326"http://example.com""Mozilla/5.0..."```###6.处理日志文件这里我们使用Spark进行日志分析（也可以使用HadoopMapReduce，但Spark更简单高效）。####使用Spark统计访问次数最多的IP启动SparkShell：```bashspark-shell```在SparkShell中执行以下Scala代码：```scala//定义日志解析函数defparseLogLine(line:String):(String,Int)={valpattern="""^(\S+).*""".rtry{valpattern(ip)=line(ip,1)}catch{casee:Exception=>("",0)}}//读取日志文件vallogFile="file:///home/ubuntu/access.log"//替换为你的日志文件路径vallogs=spark.sparkContext.textFile(logFile)//解析并统计IPvalipCounts=logs.map(parseLogLine).filter{case(ip,count)=>ip!=""}.reduceByKey(_+_).sortBy(_._2,ascending=false)//输出前10个访问最多的IPipCounts.take(10).foreach(println)```####使用HadoopMapReduce（可选）如果选择使用Hadoop，可以编写MapReduce程序，但单节点下通常直接使用本地文件系统，不需要启动HDFS。不过，由于用户要求单节点，使用Spark更为便捷。###总结以上步骤完成了在云平台ECS实例上搭建单节点Hadoop/Spark环境，并处理Web日志的基本流程。用户可以根据实际需求扩展分析内容。§§相关问题§§1.如何配置Hadoop集群模式（多节点）？2.如何配置Spark集群模式（Standalone或YARN模式）？3.除了统计IP访问次数，还有哪些常见的Web日志分析任务？4.如何将分析结果保存到文件或数据库中？</think>### 在云平台上搭建Hadoop/Spark环境处理Web日志 #### 1. 创建ECS实例（以阿里云为例） ```bash # 登录阿里云控制台 -> ECS -> 创建实例 # 选择配置：CPU 2核 / 内存 4GB / 系统盘 40GB # 镜像选择：Ubuntu 20.04 LTS # 安全组开放端口：22(SSH), 8080(Spark), 9870(HDFS) # 创建后获取公网IP：112.74.xxx.xxx ``` #### 2. 安装Java JDK ```bash ssh root@112.74.xxx.xxx apt update && apt upgrade -y apt install openjdk-11-jdk -y java -version # 验证安装 # 输出：openjdk version "11.0.15" 2022-04-19 ``` #### 3. 单节点Hadoop安装 ```bash wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/ echo 'export HADOOP_HOME=/usr/local/hadoop-3.3.4' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc # 配置独立模式 cat > $HADOOP_HOME/etc/hadoop/core-site.xml <<EOF <configuration> <property> <name>fs.defaultFS</name> <value>file:///</value> </property> </configuration> EOF ``` #### 4. Spark安装（独立模式） ```bash wget https://downloads.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz tar -xzvf spark-3.3.1-bin-hadoop3.tgz -C /usr/local/ echo 'export SPARK_HOME=/usr/local/spark-3.3.1-bin-hadoop3' >> ~/.bashrc source ~/.bashrc # 启动Spark shell测试 spark-shell --master local[2] # 输出：Spark context Web UI available at http://112.74.xxx.xxx:4040 ``` #### 5. 处理Apache日志文件 **日志格式示例：** ``` 112.168.1.1 - - [15/Oct/2023:14:32:08 +0800] "GET /index.html HTTP/1.1" 200 2326 ``` **上传日志文件到ECS：** ```bash # 本地执行 scp -i key.pem access.log root@112.74.xxx.xxx:/data/ ``` **Spark分析脚本（Python）：** ```python from pyspark.sql import SparkSession from pyspark.sql.functions import split, regexp_extract spark = SparkSession.builder.appName("LogAnalysis").getOrCreate() # 读取日志文件 logs = spark.read.text("/data/access.log") # 解析Apache日志 parsed = logs.select( regexp_extract('value', r'^(\S+)', 1).alias('ip'), regexp_extract('value', r'\[(\d{2}/\w{3}/\d{4}:\d{2}:\d{2}:\d{2})', 1).alias('timestamp'), regexp_extract('value', r'\"(\S+)\s+(\S+)\s+HTTP', 2).alias('url'), regexp_extract('value', r'\s(\d{3})\s', 1).cast('int').alias('status') ) # 统计状态码分布 status_counts = parsed.groupBy('status').count().orderBy('count', ascending=False) status_counts.show() # 输出示例： # +------+-----+ # |status|count| # +------+-----+ # | 200| 1200| # | 404| 85| # | 500| 12| # +------+-----+ # 统计访问量Top10 URL parsed.groupBy('url').count().orderBy('count', ascending=False).show(10) # 保存结果 status_counts.write.csv("/data/status_report") ``` #### 6. 定时任务配置 ```bash # 创建每日分析任务 crontab -e # 添加：0 2 * * * /usr/local/spark/bin/spark-submit /scripts/log_analysis.py ``` #### 关键配置说明 1. **单节点模式优势**：无需配置HDFS/YARN，适合小规模数据处理 2. **资源分配**：Spark的`local[2]`表示使用2个CPU核心 3. **日志解析**：正则表达式匹配Apache标准日志格式[^1] 4. **云平台通用性**：AWS EC2/Tencent CVM操作类似，仅控制台界面差异 > 注：生产环境建议使用EMR等托管服务，但单节点ECS适合学习和小规模处理[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值