facebook/swift:构建thrift http server(3)--CORS跨域

本文接续前文,讲述构建Thrift HTTP Server的测试情况。测试时发现服务端对前端XHR请求无响应,引出CORS跨域问题。介绍了CORS预检请求机制,探讨如何解决该问题,提及Netty不同版本的CorsHandler,最后用反射技术修改NettyServerTransport,虽能响应OPTION请求,但POST请求仍未解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

《facebook/swift:构建thrift http server(1)》
《facebook/swift:构建thrift http server(2)–HttpServerCodec》
接续前面的文章

测试

在上一篇文章中我已经通过替换frameCodecHttpServerCodecThriftServer改造为可以接收HTTP响应的netty server。完成代码修改后,赶紧用浏览器测试一下:
test_js.html代码如下:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
  <title>Thrift Javascript Test</title>

  <script src="build/js/thrift.js"         type="text/javascript" charset="utf-8"></script>
  <script src="gen-js/IFaceLog_types.js" type="text/javascript" charset="utf-8"></script>
  <script src="gen-js/IFaceLog.js"       type="text/javascript" charset="utf-8"></script>

  <!-- jQuery -->
  <script src="https://cdn.bootcss.com/jquery/1.10.0/jquery.min.js"></script>


  <script>
    // 连接facelog XHR服务
    var transport = new Thrift.Transport("http://localhost:26412");
    var protocol  = new Thrift.Protocol(transport);
    var client    = new IFaceLogClient(protocol);

  </script>
</head>
<body>
  <h1 id="qunit-header">Thrift Javascript Test: </h1>
  <script>
    // 调用version接口方法
    client.version((res)=>{
      $('.hint-version').append('version:' + res ) 
  </script>
  <div>
    RESPONSE:
    <p class="hint-version"></p>
  </div>
</body>
</html>

打开测试页面后,发出XHR请求后,服务端却没有响应,也没有报错。测试页面一直处于pending状态。

通过在服务端添加断点,拦截到了前端发出的第一个http请求,找到了原因,如下图:
在这里插入图片描述
通过拦截到的这个已经解码成DefaultHttpRequest对象的HTTP请求,至少可以判断替换的HttpServerCodec编解码器已经生效了,但这第一个HTTP请求居然不是浏览器端发出的POST,而是我不认识的OPTIONS,何解?这就引出了XHR请求的另一个问题CORS
在这里插入图片描述

CORS跨域问题

对于HTTP协议,我们最熟悉的最常用HTTP 请求是POST,GET这些,OPTIONS是啥,没见过,唉学艺不精啊。
赶紧去百度查,原来是跨域资源共享(CORS) 。

关于CORS,参见
《HTTP访问控制(CORS)》
《HTTP的请求方法OPTIONS》
《http请求,多一次OPTIONS请求(CORS跨域)》

看了上面这些文章,我大概明白了,因为test_js.html网页文件与http://localhost:26412不同源,所以Preflighted Requests(预检请求)机制被激活。
Preflighted Requests是CORS中一种透明服务器验证机制。预检请求首先需要向另外一个域名的资源发送一个 HTTP OPTIONS 请求头,其目的就是为了判断实际发送的请求是否是安全的。
而我的netty http server并没有响应CORS的机制,所以没有响应这个OPTIONS请求。

CorsHandler

那么现在的问题变成了如何响应OPTIONS请求?或者说是如何解决CORS跨域问题?

下面这篇文章提供了思路,
《Netty HTTP 请求允许跨域》

但是我还是觉得好麻烦,要自己根据CORS的原理写代码。就没有现成的解决方案嘛?

有,io.netty.handler.codec.http.cors.CorsHandler这个ChannelHandler接口实例就是用于响应CORS请求的。

更详细的说明参见io.netty.handler.codec.http.cors

关于CorsHandler的使用示例也找到了,只要CorsHandler添加到ChannelPipeline中,就可以了:
《Java Code Examples for io.netty.handler.codec.http.cors.CorsHandler》

看到这个代码,好激动,不用写太多代码就能解决问题。
然而再深入了解,发现问题不简单:netty的版本问题

Netty3CorsHandler

io.netty.handler.codec.http.cors.CorsHandler是netty 4.0以后的版本提供的类,在netty 3中并不存在。而facebook/swift框架是基于netty3的,更重要的是netty3和netty4并不兼容(package都不一样了),所以不能升级facebook/swift框架依赖的netty版本,也不可以简单的将CorsHandler的相关源码复制出来使用。

看到吃不到,好恼火,要把netty4的CorsHandler实现移植到netty3,需要对netty4和netty3都非常了解才行。这方面我是小白,完全不能胜任啊。
就没有现成的解决方案么?我又在google上一通找,居然让我找到了这个
org.elasticsearch.http.netty3.cors.Netty3CorsHandler,天助我也,原来有人已经实现了。

这个Netty3CorsHandler已经实现了对OPTIONS请求的响应,已经比较完备,只是用JAVA 8写的,我改成了适合JDK1.7编译的版本,

参见我修改的JDK 1.7版本:org.jboss.netty3.handler.codec.http.cors

改造NettyServerTransport

解决CORS问题的Netty3CorsHandler现在有了,但怎么将Netty3CorsHandler添加到NettyServerTransportChannelPipeline中呢?
facebook/swift/swift-servicecom.facebook.swift.service.ThriftServer类的作用是将thrift服务实例(封装为NiftyProcessor接口实例,thrift实现类为ThriftServiceProcessor)进一步封装为一个可以启动的Netty server。

下面是eclipse中以大纲模式看到的ThriftServer类的全貌,可以看到关键的NettyServerTransport实例作为私有成员常量transport,且并没有提供可供外部读取的方法。

在这里插入图片描述
看到这些,我们发现ThriftServer并没有向外部提供可以获取成员transport,也就无法通过常规方法获取NettyServerTransport实例。
同样在NettyServerTransport类中负责定义ChannelPipelinepipelineFactory也是一个私有成员,没有提供外部访问的方法。如下图:
在这里插入图片描述
现在问题来了,如何在外部修改ChannelPipelineChannelHandler队列呢?
我不想把ThriftServerNettyServerTransport类重写一遍,那样加增加日后的维护工作量,我的办法就是用java反射(reflect)技术把NettyServerTransportpipelineFactory的实例偷出来,修改后再把它放回去。

	/**
	 * 反射获取{@code object}的私有成员
	 * @param object
	 * @param name
	 * @return 成员对象
	 */
	@SuppressWarnings("unchecked")
	public static <T> T valueOfField(Object object,String name){
		try {
			Field field = checkNotNull(object,"object is null").getClass().getDeclaredField(checkNotNull(name,"name is null"));
			field.setAccessible(true);
			return (T) field.get(object);
		} catch (Exception e) {
			Throwables.throwIfUnchecked(e);
			throw new RuntimeException(e);
		}
	}
	/**
	 * 添加CORS handler
	 */
	protected void addCorsHandlerIfHttp(){
		if(HTTP_TRANSPORT.equals(thriftServerConfig.getTransportName())){
			try {
				// 反射获取私有的成员NettyServerTransport
				final NettyServerTransport nettyServerTransport = valueOfField(thriftServer, "transport");
				// 反射获取私有的成员ChannelPipelineFactory
				Field pipelineFactory = NettyServerTransport.class.getDeclaredField("pipelineFactory");
				{
					Field modifiersField = Field.class.getDeclaredField("modifiers");
					modifiersField.setAccessible(true); //Field 的 modifiers 是私有的
					modifiersField.setInt(pipelineFactory, pipelineFactory.getModifiers() & ~Modifier.FINAL);
				}
				pipelineFactory.setAccessible(true);
				final ChannelPipelineFactory channelPipelineFactory = (ChannelPipelineFactory) pipelineFactory.get(nettyServerTransport);
				// 设置CORS 参数
				final Netty3CorsConfig corsConfig = Netty3CorsConfigBuilder.forAnyOrigin()
					.allowedRequestMethods(POST,GET,OPTIONS)
					.allowedRequestHeaders("Origin","Content-Type","Accept","application","x-requested-with")
					.build();
				ChannelPipelineFactory factoryWithCORS = new ChannelPipelineFactory(){

					@Override
					public ChannelPipeline getPipeline() throws Exception {
						// 修改 ChannelPipeline,在frameCodec后(顺序)增加CORS handler
						ChannelPipeline cp = channelPipelineFactory.getPipeline();
						cp.addAfter("frameCodec", "cors", new Netty3CorsHandler(corsConfig));
						return cp;
					}};
				// 修改nettyServerTransport的私有常量pipelineFactory
				pipelineFactory.set(nettyServerTransport, factoryWithCORS);
			} catch (Exception e) {
				Throwables.throwIfUnchecked(e);
				throw new RuntimeException(e);
			}
		}
	}

修改完成后再次测试,已经可以正常响应OPTION请求了。

在这里插入图片描述
然而真正的POST请求还是没有响应
在这里插入图片描述

看来问题还是没有彻底解决,下一篇文章继续。

《facebook/swift:构建thrift http server(4)–ThriftXHRDecoder,ThriftXHREncoder》

<think>嗯,用户这次的问题是关于HiveServer2的,还提到了hbase找不到,以及启动HiveServer2时的输出。我需要先理解用户的需求。首先,用户可能是在尝试启动HiveServer2时遇到了问题,或者他们想了解HiveServer2的基本信息。输出中的“which: no hbase”可能让他们困惑,虽然这可能和当前问题无关,但需要解释清楚。 首先,我应该介绍HiveServer2是什么,它的作用,以及为什么在Hadoop生态系统中重要。然后,用户提到的错误信息中找不到hbase,这可能是因为hbase没有安装或者没有添加到PATH环境变量中,但用户当前的问题是关于HiveServer2的,所以需要指出这一点,避免混淆。 接下来,用户提供的启动日志显示HiveServer2正在启动,并生成了会话ID,这可能意味着启动成功,但需要进一步确认。可能用户不确定启动是否正常,或者遇到了其他问题。这时候应该引导他们检查日志,确认服务是否正常运行,比如通过查看日志文件或使用netstat检查端口。 然后,我需要分步骤解释如何启动和验证HiveServer2,包括启动命令、检查进程、查看端口等。同时,用户可能遇到的问题如端口冲突、权限问题、依赖服务未启动(如Hadoop、YARN)也需要提到,并给出相应的解决建议。 关于hbase未找到的问题,虽然可能不影响HiveServer2,但需要简要说明可能的原因,比如环境变量配置问题或未安装,并提供检查方法,比如检查PATH变量或安装hbase。 最后,总结用户可能需要进一步检查的地方,确保他们能自行排查问题。还要注意使用中文,结构清晰,避免技术术语过于复杂,让用户容易理解。</think>--- ### **1. HiveServer2 简介** **HiveServer2** 是 Apache Hive 提供的一个服务进程,主要用于支持多客户端并发访问 Hive 数据仓库。通过 HiveServer2,用户可以使用 JDBC/ODBC 驱动、Beeline CLI 或其他工具远程执行 Hive 查询,并支持身份验证和权限管理。 #### **核心功能** - **远程访问**:允许客户端通过 Thrift 协议(默认端口 `10000`)远程提交 HiveQL 查询。 - **并发支持**:提供会话管理和查询隔离,支持多用户并发操作。 - **安全增强**:支持 Kerberos 认证、LDAP 集成和基于角色的访问控制(RBAC)。 - **兼容性**:与 Hive CLI(旧版命令行)相比,HiveServer2 更稳定且功能更丰富。 --- ### **2. 您当前的操作分析** #### **(1) 关于 `which: no hbase` 的提示** - 该提示表明您的系统环境变量 `PATH` 中未找到 `hbase` 命令,但 **这与启动 HiveServer2 无关**。HiveServer2 的运行不依赖 HBase,除非您的 Hive 配置中集成了 HBase 作为存储引擎。 - 如果需使用 HBase,需单独安装并配置环境变量。 #### **(2) HiveServer2 启动日志解读** ```plaintext 2025-03-04 21:49:02: Starting HiveServer2 Hive Session ID = a1c160de-5f9a-43e8-ac62-a36d6774cdaa Hive Session ID = d3aba010-103f-4901-bc21-19dd37aabf08 ``` - 日志显示 HiveServer2 已启动,并生成了两个会话 ID(可能因客户端连接触发)。 - **需进一步确认服务是否真正启动成功**:检查端口监听状态或查看完整日志。 --- ### **3. HiveServer2 启动验证** #### **(1) 检查服务进程** ```bash # 查看 HiveServer2 进程是否存在 ps -ef | grep HiveServer2 ``` - 正常输出应包含 `HiveServer2` 进程信息,例如: ```plaintext hive 12345 1 ... org.apache.hive.service.server.HiveServer2 ``` #### **(2) 检查端口监听** ```bash # 确认 10000 端口是否处于监听状态 netstat -tuln | grep 10000 ``` - 正常输出示例: ```plaintext tcp6 0 0 :::10000 :::* LISTEN ``` #### **(3) 使用 Beeline 连接测试** ```bash # 使用 Beeline 客户端连接 HiveServer2 beeline -u "jdbc:hive2://localhost:10000" -n <用户名> ``` - 连接成功后,执行 `show databases;` 验证查询功能。 --- ### **4. 常见问题及解决** #### **(1) 启动失败的可能原因** - **依赖服务未启动**:Hadoop HDFS/YARN 未运行。 - **端口冲突**:`10000` 端口被其他进程占用。 - **元数据库问题**:Hive 的元数据库(如 MySQL)连接失败。 - **权限不足**:Hive 数据目录(如 `/user/hive/warehouse`)权限错误。 #### **(2) 日志定位问题** HiveServer2 的详细日志位于: ```bash # 默认日志路径 tail -f /tmp/<用户名>/hive.log # 或配置的日志目录(如 /opt/module/hive/logs) ``` --- ### **5. 总结** - 当前日志显示 HiveServer2 已尝试启动,但需通过 **进程检查、端口监听、客户端连接** 进一步验证。 - 若遇到启动失败,优先检查: 1. Hadoop 集群是否正常运行。 2. Hive 元数据库配置(如 `jdbc://mysql://...`)。 3. 日志中的 `ERROR` 或 `WARN` 信息。 如需更具体的帮助,请提供完整的 HiveServer2 启动日志或错误提示。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

10km

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值