大数据系列 | 使用Nginx作为数据采集接收端

最新推荐文章于 2025-03-11 12:14:22 发布

降世神童

最新推荐文章于 2025-03-11 12:14:22 发布

阅读量312

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据技术专栏文章标签：大数据 nginx 运维云原生

本文链接：https://blog.youkuaiyun.com/wangzongyu/article/details/136547669

大数据技术专栏专栏收录该内容

7 篇文章 ¥399.90 ¥499.90

订阅专栏

本文介绍了如何在Ubuntu22.04上编译安装Nginx，并详细阐述了通过程序向Nginx上传日志的过程，以实现大数据的采集和处理。

大数据系列 | 使用Nginx作为数据采集接收端

1. 编译安装Nginx
2. 通过程序对Nginx上传日志

1. 编译安装Nginx

Nginx依赖包安装：

root@nginx:~# apt install -y vim lua-devel gcc gcc-c++ autoconf automake zlib zlib-devel openssl openssl-devel gcc zlib1g-dev libpcre3 libpcre3-dev  openssl libssl-dev

root@nginx:

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

降世神童

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

大数据系列 | 日志数据采集工具Flume的架构分析及应用

背锅神童的博客

07-31

252

Channel 中的数据直到被 Sink 成功写入目的地之后才会被删除，当 Sink 写入目的地失败时， Channel中的数据不会丢失，这是因为有事务机制提供保证。：使用内存和文件作为数据存储介质，即先把数据存到内存中，如果内存中数据达到阈值则将其存储到文件中。Flume的典型应用场景是：采集应用程序运行期间产生的日志数据，并将从多台机器中采集的日志数据汇总输出到指定目的地。从图中可以看到， Agent是由Source、 Channel和Sink组成的，这就是Flume中的3大核心组件。

数据采集：使用 Nginx 作为数据接收端

AcWare 学习笔记

11-04

2002

埋点数据怎么接收？如何使用 Nginx 接收埋点数据？Nginx 数据接收端简单配置

参与评论您还未登录，请先登录后发表或查看评论

【Ubuntu22.04编译安装nginx时报错error: ‘ENGINE_free’ is deprecated: Since OpenSSL 3.0】

qq_54947566的博客

07-24

3312

添加参数。

Ubuntu22.08编译安装nginx时报错，提示error: ‘ENGINE_free’ is deprecated: Since OpenSSL 3.0的解决办法

iot_qizu的博客

09-13

888

加上上面的参数使编译器忽略-Wno-error和-Wno-deprecated-declarations警告，允许使用可能过时的声明，确保编译过程不因警告而中断。

Nginx采集日志的几种方式

hdxx2022的博客

03-18

1843

由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。

java大文件(百M以上)的上传下载讨论

Mr_Zang666的博客

09-22

726

一、功能性需求与非功能性需求要求操作便利，一次选择多个文件和文件夹进行上传；支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹层级结构与本地相同。支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验；支持文件夹上传，文件夹中的文件数量达到1万个以上，且包含层级结构。支持断点续传，关闭浏览器或刷新浏

大数据组件工具——数据采集框架Flume（2）

yangwei2048的博客

12-30

1016

Flume负载均衡与静态拦截器应用实践摘要：本文介绍了Apache Flume的两个高级应用场景。首先详细讲解了负载均衡配置，通过Load balancing Sink Processor实现事件数据在多Agent间的均衡分发，配置了round_robin轮询算法，并展示了三节点集群的具体实现方案。其次，演示了静态拦截器在日志分类场景中的应用，通过在header中插入type标记实现access.log、nginx.log和web.log三类日志的自动分类存储到HDFS不同目录。文章包含完整的配置示例和启

大数据：数据的日志采集与用途

博樽

11-25

6589

系统架构流程图、离线处理、实时在线；职业定位；数据采集用途、日志；数据模型、产生、划分、质量检测、日志传输

大数据之路——日志采集

cjl的博客

11-10

2889

二、数据技术篇—— 日志采集2.1 浏览器日志采集2.1.1 页面型的日志采集分类2.1.2 页面访问过程2.1.3 页面浏览日志采集流程@2.1.4 页面交互日志采集2.1.5 页面交互日志清洗和预处理2.2 无线客户端的日志采集2.2.1 页面事件2.2.2 控件点击事件2.2.3 特殊场景2.2.4 H5 & Native日志统一 @2.2.5 日志传输2.3 日志采集的挑战2.3.1 日志分流和定制处理2.3.2 大促保障 @ 日志本身不是日志采集的目的，服务于基于日志的后续应用，才是正确的

OpenSSL v3.0.1版本安装及遇到的坑

m0_43438821的博客

03-18

5852

升级openssl，以解决python报Caused by SSLError(“Can‘t connect to HTTPS URL because the SSL module is not available.“)的错误。

Linux/Unix openssl 3 使用openssl 3.0 安装nginx nginx-quic【兼容宝塔面板】

Elysia 的博客

07-19

5528

openssl3已经测试了一段时间了，在官网看到后就想用来安装nginx，一下是我的安装过程。 #####先附上正确方案 mkdir nginx&&cd nginx curl -O https://hg.nginx.org/nginx-quic/archive/quic.tar.gz tar -xzvf quic.tar.gz curl -O https://ftp.pcre.org/pub/pcre/pcre-8.43.tar.bz2 tar -zxvf pcre-8...

‘ERR_load_EVP_strings‘: Since OpenSSL 3.0 问题解决方案

liulilittle的博客

02-28

2818

C/C++ 工程属性 -> C/C++ -> 高级 -> 禁用特定警告 -> 输入：4996。该函数在 OpenSSL 3.0 上被标记为 Obsolete 编译器特性。删除 ERR_load_EVP_strings 函数调用。

openssl使用和问题、踏坑整理

qiang81021的专栏

05-28

2716

openssl使用问题整理v1.1.1版本之后RSA结构的变化 v1.1.1版本之后RSA结构的变化不能通过RSA *rsa； rsa->n去访问内部成员了。在1.1.1之后，OpenSSL支持getter这样返回每个参数。 const BIGNUM *RSA_get0_n(const RSA *d); const BIGNUM *RSA_get0_e(const RSA *d); const BIGNUM *RSA_get0_d(const RSA *d); const BIGNUM *RSA_

离线部署Nginx的安装详细教程+遇到的问题和解决方法

最新发布

Mr.Wang开发日常

03-11

1006

本人先前使用的nginx-version为1.18.0，openSSL-version为3.0.2；在源码的安装过程中，出现以下报错查阅资料得知nginx1.18.0与openSSL 3.0不兼容，我将nginx升级到1.22.0-version解决了此问题。

freeswitch之源码安装

szkbsgy的专栏

08-19

7774

在Ubuntu(虚拟机）上多次使用源码方式安装freeSwitch软件，由于freeSwitch在编译中依赖很多软件和工具，再加上系统版本和软件源的原因，每一次安装都遇到很多问题，花费大量时间排查，因此，本文记录一下安装过程和一些问题的解决方法。下载编译安装： https://github.com/signalwire/signalwire-c.git。方法一：下载安装 https://github.com/signalwire/libks.git。步骤1： sudo ./bootstrap.sh。

使用Nginx搭建rtmp流媒体服务器笔记

fulinux的博客

05-20

1万+

平台软硬件环境：PC，ubunut 16.04主要是做个记录，方便日后查询。主要是参考这篇博客：http://www.jianshu.com/p/f0bf83ca3ea3碰到的第一个问题：error: ‘OPENSSL_config’ is deprecated [-Werror=deprecated-declarations]一开始以为Ubuntu安装了openssl和libssl-dev就可以

openssl3.2 - crypto-mdebug被弃用后, 内存泄漏检查的替代方法

谢绝(无视)留言与私信

02-25

1678

调用openssl接口后, 如果用到了openssl对象, 需要释放, 否则会发生内存泄漏.即使不是新手, 也不能保证释放函数都调用了. 想想我们自己写程序, new后, 没有delete的情况就知道, 可以理解.谁能保证自己手搓的应用实现100%没内存泄漏呢?看资料时, 发现openssl本身有这个检查库本身发生内存泄漏的特性, 大概就是申请内存时, openssl自己记录了一下, free内存时, 将对应记录删掉.

基于CLT13实现的证据加密代码部署

qq_43671943的博客

09-10

1084

部署Github上的实现证据加密的代码，工作流程：给定一个输入 .txt 文件，其中包含以指定格式描述的数独谜题或 Pentomino 平铺问题，Python 脚本将其转换为精确的集合覆盖问题，将其编码打印成单独的文本文件。然后，基于 Carmer 和 Malozemooff [2] 修改的 CLT13 实现构建的 C 代码基于精确集合覆盖问题执行消息加密。以下部分描述了每个阶段的实施细节。