Flink的Use Case及项目创建

最新推荐文章于 2025-08-07 13:09:44 发布
原创 最新推荐文章于 2025-08-07 13:09:44 发布 · 424 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

一、Flink的Use Case：

       1、Event-driven Applications事件驱动

（1）传统驱动：当事件发生时，处理数据，在必要时触发trigger作出相应的行为。

（2）事件驱动：当事件发生时，将事件存储在消息队列中，每次处理消息队列中的数据，Flink应用不断消费消息队列中的数据。每隔一段时间往持续存储器中存储数据（异步），处理数据，在必要时触发trigger作出相应的行为或者将事件再次存入消息队列中。

       例：欺诈检测、异常检测、、基于规则的告警、业务流程监控、Web应用程序（社交网络）——用CEP（复杂事件处理）解决。

 

       2、Data Analytics Applications分析

（1）批处理分析：将实时数据存储在数据库中，Flink应用在一段时间后进行批处理，经过处理后可以存到数据库中或发布在report中。

（2）流式分析：将上游实时数据先写入消息队列中，处理后不断更新到数据库中，以便Dashboard实时呈现。

 

       3、Data Pipeline Applications管道式ETL

              ETL：抽取、转换和加载

（1）周期性ETL：周期性地启动一个job，读数据库，简单处理后放入分布式数据仓库中。

（2）流式ETL：周期性地启动一个job，同样读数据库，在计算之后写入消息队列或者分布式数据仓库中。

 

二、生成Flink项目

1、通过Maven骨架创建：

$ mvn archetype:generate                               \

      -DarchetypeGroupId=org.apache.flink              \

      -DarchetypeArtifactId=flink-quickstart-java      \

      -DarchetypeVersion=1.9.0

2、通过Git创建：

$ curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0

SOCKET【3】-select+getsockopt客户端检测connect是否成功
m0_46535940的博客
05-28 3854
文章目录前言一、使用`select+getsockopt`如何知道是否真的成功的连接到远程服务器？1.1 connect 返回的几种情况：1.2 针对1.1中的第二种情况的处理三、 `getsockopt`获取`SO_ERROR`等于0一定是没有问题吗？四、 select 服务器如何编程能快速知道对端是否已经断开？总结 前言 使用select+getsockopt如何知道是否真的成功的连接到远程服务器？ 客户端一旦链接成功服务器 fd 的状态是什么？是确定不变的？还是多种多样的？ getsockopt获
【Linux 34】多路转接 - select
shangguanxiu的博客
01-13 1162
多路转接 - select
Linux select函数问题 调用close关闭socket时，select并不会退出等待
学而时习之
04-25 4800
最近在编写Linux下 视频代理服务器，在
Socket编程中select函数用法详解
念念不忘，必有回响。
07-03 2489
select()在SOCKET编程中还是比较重要的，可是对于初学 SOCKET 的人来说都不太爱用select()写程序，他们只是习惯写诸如conncet()、accept()、recv()或recvfrom()这样的阻塞程序（所谓阻塞方式 block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回）。可是使用 select() 就可以完成非阻塞（所谓非阻塞方式 non-block，就是进程或线程执行此函数时不必非要等待事件的发生，一旦
socket关闭close和shutdown
mayue_web的博客
02-22 6027
转载：http://blog.sina.com.cn/s/blog_693de6100101eusw.html 概述 socket关闭有2个方法close，shutdown ，2个方法的用法需要注意 ，他们之间的区别: close-----关闭本进程的socket id，但链接还是开着的，用这个socket id的其它进程还能用这个链接，能读或写这个socket id shutdown–则破坏了s...
TCP中的优雅关闭和非优雅关闭
a13602955218的博客
04-06 2272
优雅关闭：其实就是正常的四次挥手 非优雅关闭：向对端发送一个RST报文直接进入CLOSED状态 服务器为了避免太多TIME_WAIT的关闭方式： 1.保证由客户端主动发起关闭 2.关闭的时候使用RST的方式 3.对处于TIME_WAIT状态的TCP允许重用 一般我们当然最好是选择第一种方式，实在没有办法的时候，我们可以使用SO_LINGER选择第二种方式，使用SO_REUSEADDR选择第三种方式...
tcp服务器(使用select)
yjwkhhnui的专栏
11-12 292
#include #include #include #include #include #include #include #include #include #include #define MAXLINE         128 #define SERV_PORT       8001 #define LISTENQ         100
MFC单文档下的TCP客户端
12-22
综上所述，创建MFC单文档TCP客户端涉及以下步骤：设置MFC项目、初始化Winsock、创建TCP通信线程、处理连接和数据传输，以及更新用户界面。理解这些核心概念对于开发自己的TCP客户端至关重要。通过不断实践和优化，你...
10、网络协议中的状态管理与客户端 - 服务器架构解析
f6g7h8i9j的博客
08-07 87
本文详细解析了网络协议中的状态管理机制及客户端-服务器架构。内容涵盖会话与状态管理基础、客户端状态存储方式（如cookie、隐藏表单变量和URL参数）、无状态协议DNS的工作原理及有状态协议POP3的通信流程。同时，介绍了服务器处理多客户端的三种常见策略——复用、分叉和线程策略，并通过代码示例展示了其实现方式及优缺点。文章旨在帮助开发者更好地理解网络应用中的状态维护和并发处理机制，为构建高性能、可靠的网络服务提供理论与实践支持。
select函数当对端关闭后的状态
qu1993的博客
08-07 3601
        struct timeval timeout = {5, 0};           rset = allset;         nready = select(maxfd + 1, &rset, NULL, NULL, &timeout); 当使用select等待客户端发送数据时，如果客户端断开了连接，无论是主动close还是程序挂掉了，这时候select都...
几种TCP连接终止
weixin_33991727的博客
12-08 198
在三次连接完成后,accept调用前,客户机发来RST.Berkeley实现将完全在内核中处理,不通知.而SVR4实现将返回一个错误EPROTO,而POSIX指出应该是ECONNABORTED,后面将补充解决方法. 如果服务器进程终止,而如果客户端对于套接字和用户输入两个源,只监听其中一个,则会收不到服务器发送的FIN.->当服务器已经终止时,向服务发送数据会返回RST.->...
基于select模型tcp服务器的掉线处理
移动视频探索者
10-14 1970
Camera和手机之间通过中转服务器来转发数据。如果任何一方非正常退出时， 会导致select函数执行异常。  不需要在服务器定时检查每个socket描述符。  解决方法如下： 1)   手机播放视频时每个30秒发送一个心跳包并由服务器转发给Camera。 如果超过30秒未收到心跳包， Camera中断本次传输，并通知服务器释放手机socket的描述符。 2)   当Camera掉线时， s
用select检测对方断开tcp连接
haizhongyun的专栏
05-29 9437
使用阻塞式socket发送和接受数据，但是由于没有建立心跳机制，远端服务器在一定时间内（系统设定）没有活动数据，就会断开连接。 无奈只能在每次发送数据之前检测对方是否断开连接，当然在发送数据之前检测的目的是保证这次发收数据不会因为对方断开连接而接受数据失败（对方断开连接，发送还是会成功的）。这个方法比较挫~ 使用了select + recv   fd_set read_set; st
socket请求建立连接和断开连接select函数响应
modi000的博客
06-17 1635
1、服务器端建立socket后，使用select函数的监听该socket的读事件，如果有读事件发生------>表明有客户端连接请求了。 2、C/S中一方调用close正常关闭socket后，对端的select函数会有读事件发生，此时再调用recv函数，返回值为0------>表明接收到了对端的正常断开连接了。 ...
select
fysy0000的专栏
08-10 813
elect在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如connect、accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件
关闭select监控的fd出现的问题及解决方案
fhy00229390的博客
01-15 2238
关闭select监控的fd出现的问题及解决方案前言一、实现思路二、问题三、bind() 失败分析1. 使用netstat查看socket状态2. 为什么srv_fd引用计数会加13. select() 超时后srv_fd引用计数减14. man select四、解决bind()失败测试平台1. 设置SO_REUSEPORT2. 使用shutdown()函数3. 使用select()时，设置超时时间4. 使用poll()替换select()总结 前言 最近项目上，有一个新需求。服务器端通过select/po
用select判断tcp连接是否断开
weixin_45118169的博客
11-26 2119
linux select
用select如何侦测TCP连接是否被对方关闭?
address2的专栏
08-13 3339
读信号触发,但收到0个字节的数据  ---------------------------------------------------------------   以判断一个连接为例   fd_set  read_set;  struct  timeval  t_o;  ...  FD_ZERO(&read_set);  FD_SET(lSockFd,&read_set);  t_o.tv_s
帮我重写一个基于事件选择模型的双协议服务器（udp，tcp）
最新发布
10-03
<think>我们正在设计一个基于事件选择模型的双协议（TCP和UDP）服务器。事件选择模型（如select）可以同时监控多个套接字的事件。对于TCP，我们使用监听套接字接受连接，然后使用连接套接字通信；对于UDP，我们只需要一个套接字来接收和发送数据报。 设计要点： 1. 初始化WSA（Windows Sockets API） 2. 创建TCP监听套接字和UDP套接字，并分别绑定到指定端口（注意：TCP和UDP的端口可以相同，因为它们属于不同的协议） 3. 将TCP监听套接字和UDP套接字加入select的可读集合（以便监听连接请求和UDP数据到达） 4. 进入循环，调用select等待事件发生 5. 当select返回时，检查每个套接字： - 如果TCP监听套接字有事件，则接受新连接，并将新连接套接字加入select集合 - 如果UDP套接字有事件，则接收数据报，并根据需要处理并回复 - 如果TCP连接套接字有事件，则读取数据，并根据需要回复 注意：由于UDP是无连接的，所以同一个UDP套接字可以接收所有客户端的数据报，并且发送时需要使用sendto指定客户端地址。 以下是代码框架： 步骤： 1. 初始化WSA 2. 创建TCP监听套接字，绑定，监听 3. 创建UDP套接字，绑定 4. 创建fd_set集合，并将TCP监听套接字和UDP套接字加入 5. 循环中调用select 6. 处理事件 注意：为了简化，我们假设TCP和UDP使用不同的端口（也可以相同，但这里我们使用相同端口以简化客户端连接），但实际上TCP和UDP端口独立，所以可以绑定相同端口号。 代码结构： 由于用户之前有UDP启动函数，我们将调整为一个完整的服务器。 我们假设： TCP端口：7209 UDP端口：7210 但注意：在同一个程序中，我们可以同时绑定TCP和UDP到不同的端口（或者相同端口号，因为协议不同，所以不冲突）。 代码实现： 注意：Windows下使用select模型，该模型可以同时处理TCP和UDP。 我们将创建一个函数来启动双协议服务器，并进入事件循环。 由于代码较长，我们分步骤编写。 </think>### 基于事件选择模型的双协议服务器实现 以下是基于事件选择模型（Select Model）的TCP/UDP双协议服务器代码重写方案。代码采用Windows Socket API实现，同时处理TCP流式传输和UDP数据报传输，使用`select()`函数实现高效I/O复用[^1]。 ```cpp #include <winsock2.h> #include <ws2tcpip.h> #include <iostream> #include <vector> #pragma comment(lib, "ws2_32.lib") #define TCP_PORT 7209 #define UDP_PORT 7210 #define MAX_CLIENTS 64 #define BUFFER_SIZE 4096 // 初始化双协议服务器 void start_dual_protocol_server() { WSADATA wsa; if (WSAStartup(MAKEWORD(2, 2), &wsa) != 0) { std::cerr << "WSAStartup failed: " << WSAGetLastError() << std::endl; return; } // === TCP服务器初始化 === SOCKET tcp_listen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); if (tcp_listen == INVALID_SOCKET) { std::cerr << "TCP socket failed: " << WSAGetLastError() << std::endl; WSACleanup(); return; } sockaddr_in tcp_addr = {0}; tcp_addr.sin_family = AF_INET; tcp_addr.sin_addr.s_addr = htonl(INADDR_ANY); tcp_addr.sin_port = htons(TCP_PORT); if (bind(tcp_listen, (sockaddr*)&tcp_addr, sizeof(tcp_addr)) == SOCKET_ERROR) { std::cerr << "TCP bind failed: " << WSAGetLastError() << std::endl; closesocket(tcp_listen); WSACleanup(); return; } if (listen(tcp_listen, SOMAXCONN) == SOCKET_ERROR) { std::cerr << "TCP listen failed: " << WSAGetLastError() << std::endl; closesocket(tcp_listen); WSACleanup(); return; } // === UDP服务器初始化 === SOCKET udp_socket = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP); if (udp_socket == INVALID_SOCKET) { std::cerr << "UDP socket failed: " << WSAGetLastError() << std::endl; closesocket(tcp_listen); WSACleanup(); return; } sockaddr_in udp_addr = {0}; udp_addr.sin_family = AF_INET; udp_addr.sin_addr.s_addr = htonl(INADDR_ANY); udp_addr.sin_port = htons(UDP_PORT); if (bind(udp_socket, (sockaddr*)&udp_addr, sizeof(udp_addr)) == SOCKET_ERROR) { std::cerr << "UDP bind failed: " << WSAGetLastError() << std::endl; closesocket(tcp_listen); closesocket(udp_socket); WSACleanup(); return; } // === 事件选择主循环 === fd_set readfds; std::vector<SOCKET> client_sockets{tcp_listen, udp_socket}; char buffer[BUFFER_SIZE]; std::cout << "Dual-protocol server running on:\n" << "TCP port: " << TCP_PORT << "\n" << "UDP port: " << UDP_PORT << std::endl; while (true) { // 设置文件描述符集合 FD_ZERO(&readfds); SOCKET max_fd = 0; for (SOCKET s : client_sockets) { FD_SET(s, &readfds); if (s > max_fd) max_fd = s; } // 等待事件发生（无超时限制） int activity = select(max_fd + 1, &readfds, nullptr, nullptr, nullptr); if (activity == SOCKET_ERROR) { std::cerr << "select error: " << WSAGetLastError() << std::endl; break; } // === 处理TCP连接请求 === if (FD_ISSET(tcp_listen, &readfds)) { sockaddr_in client_addr; int addr_len = sizeof(client_addr); SOCKET new_socket = accept(tcp_listen, (sockaddr*)&client_addr, &addr_len); if (new_socket == INVALID_SOCKET) { std::cerr << "accept failed: " << WSAGetLastError() << std::endl; } else if (client_sockets.size() < MAX_CLIENTS) { // 添加新TCP客户端 client_sockets.push_back(new_socket); char ip[INET_ADDRSTRLEN]; inet_ntop(AF_INET, &client_addr.sin_addr, ip, INET_ADDRSTRLEN); std::cout << "New TCP client: " << ip << ":" << ntohs(client_addr.sin_port) << std::endl; } else { closesocket(new_socket); std::cout << "Max clients reached. Connection closed." << std::endl; } } // === 处理UDP数据报 === if (FD_ISSET(udp_socket, &readfds)) { sockaddr_in client_addr; int addr_len = sizeof(client_addr); int recv_len = recvfrom(udp_socket, buffer, BUFFER_SIZE, 0, (sockaddr*)&client_addr, &addr_len); if (recv_len == SOCKET_ERROR) { std::cerr << "UDP recvfrom error: " << WSAGetLastError() << std::endl; } else { // 处理UDP数据（示例：原样返回） sendto(udp_socket, buffer, recv_len, 0, (sockaddr*)&client_addr, addr_len); } } // === 处理TCP客户端数据 === for (auto it = client_sockets.begin() + 2; it != client_sockets.end(); ) { SOCKET s = *it; if (FD_ISSET(s, &readfds)) { int recv_len = recv(s, buffer, BUFFER_SIZE, 0); if (recv_len <= 0) { // 连接关闭或错误 closesocket(s); it = client_sockets.erase(it); continue; } // 处理TCP数据（示例：原样返回） send(s, buffer, recv_len, 0); } ++it; } } // 清理资源 for (SOCKET s : client_sockets) closesocket(s); WSACleanup(); } int main() { start_dual_protocol_server(); return 0; } ``` ### 关键设计与数学原理 1. **协议效率模型** 服务器吞吐量$T$由事件处理效率决定： $$ T = \frac{N_{\text{events}}}{\Delta t_{\text{processing}}} \times R_{\text{success}} $$ 其中$N_{\text{events}}$是单位时间事件数，$\Delta t_{\text{processing}}$是平均处理延时，$R_{\text{success}}$是成功率[^2]。 2. **select模型时间复杂度** 对于$n$个套接字的扫描时间复杂度为： $$ O(n) \quad \text{per} \quad \text{event loop} $$ 相比轮询$O(n^2)$显著提升效率[^5]。 3. **双协议处理矩阵** | 协议 | 连接管理 | 数据处理模式 | 适用场景[^2] | |------|-------------------|--------------------|---------------------| | TCP | 面向连接/状态维护 | 流式可靠传输 | 文件传输、远程调用 | | UDP | 无连接/无状态 | 数据报尽力交付 | 实时视频、在线游戏 | ### 使用说明 1. **启动服务器** ```bash ./server # 输出示例： # Dual-protocol server running on: # TCP port: 7209 # UDP port: 7210 ``` 2. **TCP客户端测试** ```bash telnet localhost 7209 ``` 3. **UDP客户端测试** ```python import socket sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) sock.sendto(b"Test UDP", ('localhost', 7210)) print(sock.recvfrom(1024)) ``` ### 性能优化建议 1. **设置套接字非阻塞模式** ```cpp u_long mode = 1; ioctlsocket(socket, FIONBIO, &mode); ``` 避免单客户端阻塞整个服务[^1]。 2. **增加发送/接收缓冲区** ```cpp int buf_size = 1024 * 1024; // 1MB setsockopt(socket, SOL_SOCKET, SO_SNDBUF, (char*)&buf_size, sizeof(buf_size)); setsockopt(socket, SOL_SOCKET, SO_RCVBUF, (char*)&buf_size, sizeof(buf_size)); ``` 提升高吞吐场景性能[^3]。 3. **协议加速配置** 对实时性要求高的UDP应用，启用KCP加速： ```cpp ikcp_nodelay(kcp, 1, 10, 2, 1); // 开启快速模式[^3] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值