web代理反向代理异同及在大数据hadoop中应用_反向代理的统一用户认证安全吗-优快云博客

本文链接：https://blog.youkuaiyun.com/wang2leee/article/details/134151874

web代理反向代理异同及在大数据hadoop中应用

文章目录

web代理反向代理异同及在大数据hadoop中应用
区别联系
- 区别：
- 联系：
功能实现：
- 1.Web代理功能实现：
- 2.反向代理功能实现：
应用
示例
参考链接
参考链接
- - [HDFS-- Hadoop中的ProxyUser](https://www.jianshu.com/p/a27bc8651533)

区别联系

Web代理和反向代理是在Web应用程序中扮演不同角色的组件，它们有一些区别和联系：

区别：

客户端和服务器关系：Web代理充当客户端与目标服务器之间的中间人，代表客户端发送请求。而反向代理则充当服务器与客户端之间的中间人，代表服务器接收请求并将其转发给合适的后端服务器。
请求处理方式：Web代理通常根据客户端的请求决定是否缓存响应、过滤内容或控制访问等。反向代理则根据请求的目标地址或特定规则，将请求转发给后端服务器，并将接收到的响应返回给客户端。
部署位置：Web代理通常位于客户端或客户端所在网络内部。反向代理通常位于服务端，放置在服务器前面，作为服务器与客户端之间的入口。

联系：

数据转发：无论是Web代理还是反向代理，它们都能够将请求从一个节点转发到另一个节点，以实现数据的传输和交互。
安全性和负载均衡：代理和反向代理都可以增加安全性和负载均衡。它们可以进行访问控制、身份验证、数据过滤、SSL加密等操作来保护网络和数据安全。同时，它们也可以通过负载均衡的算法将请求分发给多个后端服务器，以提高系统的性能和可靠性。
缓存和性能优化：代理和反向代理都可以通过缓存响应、压缩数据、减少网络往返等方式来优化性能，并提供更快的响应时间。

综上所述，Web代理和反向代理在角色和功能上存在一些区别，但它们在数据转发、安全性、负载均衡和性能优化方面有一些共同点，都在Web应用程序中起着重要的作用。

功能实现：

这些功能的实现通常依赖于代理服务器软件或反向代理服务器软件。

1.Web代理功能实现：

接收请求：代理服务器接收来自客户端的请求。
转发请求：代理服务器将请求转发给目标服务器，并在必要时修改请求头或URL。
返回响应：代理服务器接收到目标服务器的响应后，再将其返回给客户端。

常见的代理服务器软件包括Apache HTTP Server、Nginx、Squid等，

2.反向代理功能实现：

接收请求：反向代理服务器作为服务器的前端，接收客户端的请求。
路由选择：根据一定的规则（如负载均衡算法、请求的目标地址等），反向代理服务器选择合适的后端服务器来处理请求。
转发请求：反向代理服务器将请求转发给选定的后端服务器，并在必要时修改请求头或URL。
返回响应：后端服务器处理请求后，将响应返回给反向代理服务器，然后反向代理服务器再将响应返回给客户端。

而常见的反向代理服务器软件包括Nginx、HAProxy、Traefik等。这些软件提供了丰富的配置选项，允许您定义代理行为、路由规则、负载均衡策略等，以满足不同的需求。

需要注意的是，代理服务器和反向代理服务器在实际部署中可能需要进行适当的配置和调整，以确保其正常工作并符合特定的应用场景和需求。

应用

Hadoop中的代理主要指的是用户代理（Proxy User），它的作用是让超级用户（Superuser）模拟一个普通用户（Proxy User）来执行任务。

Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的用户认证信息，以User B的名义去访问hadoop集群。对于服务端来说就认为此时是User B在访问集群，相应对访问请求的鉴权（包括HDFS文件系统的权限，YARN提交任务队列的权限）都以用户User B来进行。User A被认为是superuser（这里super user并不等同于hdfs中的超级用户，只是拥有代理某些用户的权限，对于hdfs来说本身也是普通用户），User B被认为是proxyuser。

在Hadoop的用户认证机制中，如果使用的是Simple认证机制，实际上ProxyUser的使用意义并不大，因为客户端本身就可以使用任意用户对服务端进行访问，服务端并不会做认证。而在使用了安全认证机制（例如Kerberos）的情况下，ProxyUser认证机制就很有作用：

用户的管理会比较繁琐，每增加一个新的用户，都需要维护相应的认证信息（kerberosKeyTab），使用ProxyUser的话，只需要维护少量superuser的认证信息，而新增用户只需要添加proxyuser即可，proxyuser本身不需要认证信息。
通常的安全认证方式，适合场景是不同用户在不同的客户端上提交对集群的访问；而实际应用中，通常有第三方用户平台或系统会统一用户对集群的访问，并且执行一系列任务调度逻辑，例如Oozie、华为的BDI系统等。此时访问集群提交任务的实际只有一个客户端。使用ProxyUser机制，则可以在这一个客户端上，实现多个用户对集群的访问。

示例

对于每个superUser用户，hosts必须进行配置，而groups和users至少需要配置一个。

这几个配置项的值都可以使用*来表示允许所有的主机/用户组/用户。

例如：

<property>
   <name>hadoop.proxyuser.userA.hosts</name>
   <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.userA.users</name>
    <value>user1,user2</value>
</property>