经验谈:无线网关潜规则及开发建议

如何设计一个高性能网关? 一、前言 最近在github上看了soul网关的设计,突然就来了兴趣准备自己从零开始写一个高性能的网关。经过两周时间的开发,我的网关ship-gate核心功能基本都已完成,最大的缺陷就是前端功底太差没有管理后台。 二、设计 2.1技术选型 网关是所有请求的入口,所以要求有很高的吞吐量,为了实现这点可以使用请求异步化来解决。目前一般有以下两种方案: Tomcat/Jetty+NIO+Servlet3 Servlet3已经支持异步,这种方案使用比较多,京东,有赞和Zuul,都用的是这种方案。 Net 阅读详情

  本文来自腾讯大讲堂(DJT.QQ.COM),转载请注明出处。


  作为腾讯无线的一名研发人员,我和我们的团队在开发和运营过程中碰到了一些有线网络环境碰不到的问题,也积累了一些经验,希望分享给大家。



      我们经常碰到的网络问题都和网关有关,由于无线网关设备的供应商很多(华为,中兴,诺西等),难免存在不同的限制和规则,而且一旦发现问题,设备的更新速度也比较慢,但业务又需要快速调整,所以要想办法兼容这些规则。



      首先对两个出现比较多的名词解释下:


       接入点(apn):上网方式,常见的有cmwap,cmnet,ctwap,ctnet,3gnet,3gwap等。


       Wap网关:在用户手机和业务服务器中间的一个代理层,在这里会控制一些计费,头部转换等。


        1.关于网关限制回包和限制上传包的大小


       机制回溯:国内几乎所有厂家的网关都有一个开关,可以来设置用户上传数据或服务器返回数据的大小,如果超过大小就截断或者直接失败,例如诺西的一些网关限制回包为3M,华为部分是10M,有些没有打开这个开关。原因主要是性能问题,因为网关的策略一般是把数据包收全后发给用户或者服务器,那么对于高并发的请求以及大量的用户,一旦下载或者上传增加,那么系统内存必然是个瓶颈,所以用限制大小来缓解,这个在设备上修改的难度也很大。



       导致问题:用户经常下载失败或者下载成功了安装失败,上传的时候直接提示错误,小图成功,大图失败等。


       开发建议:下载包那个实在是没有办法了,现在安卓和爱疯的包动不动就十几兆,所以还是推荐支持断电续传,通过多次少量来下载,这样可以提高成功率,也是运营商推荐的做法。上传有点矛盾,高清无码是我们的追求,但是大小限制摆在这里,建议是有限压缩,分片上传,也是用迂回的策略来提高成功率,让用户无码。



        2.关于资费提醒页面,业务推荐页面,网络欢迎页面


       机制回溯:这里的问题也是出现在当月第一次联网或者当天第一次联网的时候(具体视网关配置而定),用户联网的时候如果访问的域名或者ip不在资费提醒白名单中,则会出现资费提醒页面或者是欢迎页面,而这个时候用户需要手动点一下允许才能通过这个页面,具体的引导多为302和直接200返回提醒页面。



       导致问题:这里的问题就是我们的请求拿到的并不是我们希望返回的数据,而且在有些提醒中,如果用户不点击允许,只是重连,多少次也还是会有这个提醒,这就导致了如果终端支持go也支持了重连,但是仍然会失败。



      开发建议:支持go和重连同时post尽量不放第一个请求,另外加上重试次数的限制,比如重试5次都失败,则页面上提示用户用浏览器打开或者直接调用系统浏览器来打开网址,很有可能就会涉及需要用户主动点击的页面,然后再回来软件内部进行操作。



       3.关于x-online-host头部的作用和设定


       机制回溯:这个字段算是wap方式下一个特殊产物了,因为wap网关全部代理了手机的上网行为,也就是任何访问都会到10.0.0.172(类似这个)去接受网关的代理,如果需要往其他域名发送请求就有问题,因为请求都要用http://10.0.0.172/xxxxxxx类似的格式发到网关,那么网关就没有办法知道要访问的真实目标域名,于是就有了xonline这个头,让业务把目标的域名放在这个头部里面,然后由网关解析:如果没有http://的话,则作为相对URI,用X-Online-Host字段进行补全;如果有http://字段的话,则将host替换为X-Online-Host的值。



       导致问题:现在网关基本都有优化,如果没有这个头也没有关系,不过在工作中还是碰到了几个与之相关的问题,2011年有一段时间如果在cmwap接入点下不加x-online-host头,则手机侧发送任何post包都会直接被拒绝,另外还有一个问题就是这里中划线还是下划线的问题,应该是中划线,但是有些网关碰到下划线也能正常工作,不过不能保证。



        开发建议:判断用户的联网方式,如果是wap方式则将x-online-host头加上,内容为业务具体的域名。另外推荐一种做法,服务器拿到用户ip后计算出合适的服务器ip给用户,然后用户采用直接ip的方式来访问,同时还能减少域名解析的时间。



        4.关于serverlist以及写死服务器ip



        机制回溯:这个不用多说,相信大家都被放出去的终端版本里面有写死ip,导致迁移难,故障恢复难的事情困扰过。



        导致问题:难容灾,不方便迁移,而且一旦没有记录,后续撤销服务器的时候会因为不知道哪里来的访问而头疼。


       开发建议:支持可以配置的serverlist。大部分产品的做法是下发serverlist,客户端按照顺序尝试,比如联通的用户给下发依次为联通、电信、移动的服务器,如果联通服务器失败则走电信,然后如果全部失败需要有一个域名解析作为备份策略,以防失败的时候能够从域名的dns来控制用户的访问。当然serverlist如何下发,客户端按照什么方式来请求需要单独考虑。



         5.关于泛域名解析的一个潜规则


         机制回溯:android自带浏览器以及部分浏览器不能解析cname到泛域名的域名。比如a.qq.com cname到*.qq.com,那么浏览器在访问a.qq.com就会出错。(关于泛域名,其实就是如果xxx.qq.com没有单独申请解析,但是*这个泛域名有解析那么就会走*,这个可以减少域名解析申请工作)。



        导致问题:域名访问失败。



        开发建议:尽量避免cname到一个泛域名。



        6.关于wap网关主动超时断开或者超时重连


       机制回溯:wap网关上通常有一个设定,是关于和手机之间的超时的设定,具体就是当tcp链接建立以后如果一段时间没有任何数据交互,则网关会主动发送fin或者rst关闭这个tcp链接,这里主动发送是指分别向手机和服务器各发送结束包。这里一段时间可能是15s或者30s不等。目的是为网关节省tcp established的链接。


       导致问题:第一是对于主动使用keepalive头的应用,一般keepalive的链接,服务器发完数据后不会主动去断开这个链接,中间如果没有数据的时候很可能被网关主动断开,导致访问耗时增加。第二是对于有长连接的应用比如手机QQ,问题也是没有数据的时候被网关断开,增加耗时。第三是有些信号差的地方手机到网关中间质量不太好,会有短暂没有数据的情况,网关也会主动关闭,导致访问失败,比如软件下载这种耗时比较长的应用。


       开发建议:断开链接一般只会导致耗时增高,因为需要重新建立链接,重新dns等,所以一般业务不用十分在意,对于延时有较高要求,且对于链接保持有要求的应用应该考虑定期的数据交互,比如每15s中在同一个链接上发送心跳等策略,当然流量需要另外考虑。


        7.关于server端开发和服务器设定的一些建议


        机制回溯:这里主要还是因为网关功能比较多,经常出问题的:经过网关后一个访问可能由相对路径变成全路径访问,也就是会出现由GET /qcy.jsp变成GET http://a.qq.com/qcy.jsp这样的全路径;经过网关后一些访问请求里面的特殊字符可能会被转义,比如空格变成%20之类;经过网关后http header里面的字段可能由首字母大写变成小写,从Host变成host这样。


       造成问题:如果服务器不支持,访问就会失败,404或者500返回。


       开发建议:服务器需要支持绝对路径访问(rfc标准),要能够兼容header的大小写。那个被转码没有办法,只能说在开发过程尽量保持大小写的一致(最好都是小写)并且少用特殊字符尤其是空格,最后就是server默认要支持keepalive方式。


        服务器设定:服务器本身这里只说下最关键的tcp快速回收参数(tcp_tw_recycle),部署在最前面和用户直接交互的机器(接入层,或者对外提供服务的机器)这个参数必须要0,关闭。原因就是网关是属于很多用户公用一个出口的,时间戳会对系统的判断造成影响,可能导致服务器一个时间只给最新时间戳的服务,其他都直接回收。另外,对于下载类的

server,最好放弃关于一个链接超时的设置,在无线环境下多久的时间也有,比如下载一个20M的需要几个小时,是可能的,需要特别关注下。


        8.关于数据大小对于用户速度和成功率的影响


        机制回溯:正是因为在无线环境中用户的包往往需要经过几百ms才能到服务器,这里就可以想到在tcp链接中,客户端的一个ack有多值钱,如果一个请求被分成了10个包,假设客户端回复了三个ack,那么就光这里就耗去了大概两秒钟,而且等待ack的过程中基本访问是卡住的。另外就是多一次来回失败率也会上升的。


        导致问题:体验差,访问慢,失败率高。


        开发建议:首先控制回复的数据的大小,这是重中之重;用gzip来尽量缩小回包;另外就是想办法调优tcp协议,让客户端需要发的ack尽量少,但是这里很大程度和手机系统的实现还相关,这里没有太多尝试过,能做的应该是调大初始窗口,发送缓存,加快重传的时间间隔等,让一次性尽可能发更多的数据,发现问题后也能尽快发起重传。

希望这些经验能对刚进入无线领域的朋友有所帮助。

本文来自腾讯大讲堂(DJT.QQ.COM),转载请注明出处。

【从0到1设计一个网关】上岸大厂的秘诀之一 【从0到1设计一个网关】总结 阅读详情

相关推荐

网关常见问题解决方法和示例代码

为了保护后端服务的稳定性,我们可以在网关中实现请求限流的机制。以上是几个常见的网关问题及其解决方法的示例代码。但通过理解这些常见问题的解决思路,我们可以更好地应对网关开发中可能遇到的挑战。跨域请求是指浏览器在进行AJAX请求时,请求的目标资源与当前页面的域名不一致。在Java开发中,网关是一个常见的组件,用于处理网络请求的转发和路由。然而,使用网关时可能会遇到一些常见的问题。在本文中,我将介绍一些常见的网关问题,并给出相应的解决方法和示例代码。为了提高系统的可靠性,我们可以在网关中实现请求重试的机制。

DevAstro的博客 177

关于移动网关的私有代理协议:X-Online-Host

众所周知,在国内的GPRS网络环境下,用户以cmwap接入点上网的情况居多。cmwap是中国移动的GPRS代理上网,因此在创建连接的时候,必须采用代理的方式进行连接。 假设我连接的URL为:http://wap.uc.cn/; 在标准代理中,是这样子的: Conection to 10.0.0.172:80 GET http://wap.uc.cn/ HTTP/1.1 Host: wap...

helpbs 358

开放网关接口及其开发源代码

开放网关接口及其开发源代码

tiny模式基本原理整合

http_first=”[method] [uri] [version]\r\nHost: \r\r\n Connection: keep-alive\r\n\r\t二舅\r\rX-Online-Host: [host]\r\n\t”;http_first=”[method] [uri] [version]\r\nHost: \r\r\n Connection: keep-alive\r\n\r\t二舅\r\rX-Online-Host: [host]\r\n\t”;对于这样肯定也是不免的,为什么?

qq_41975868的博客 3992

贝莱德(BlackRock)—— 阿拉丁(Aladdin)平台的 AI 赋能升级

全称(资产、负债、债务与衍生品投资网络),是贝莱德自主研发的一体化投资管理与风险管理技术平台,被誉为全球资管行业的 “

xm_mm的博客 1743

从MRF8P9040N数据手册到ADS仿真:手把手教你搞定LDMOS功放设计(附完整模型下载)

本文详细解析了MRF8P9040N LDMOS功率放大器的数据手册关键参数,并提供了在ADS中进行仿真的完整指南。从模型导入、直流工作点验证到负载牵引与阻抗匹配设计,逐步指导工程师完成高效功放设计。文章还包含调试技巧和常见问题解决方案,帮助优化射频功放性能。

weixin_27015733的博客 493

php抓包腾讯大王卡token,【免流】腾讯大王卡变色龙自动抓包

教程✨接入点自带net✨下载变色龙模式如下:mode=wap;listen_port=65080;daemon=on;worker_proc=0;uid=3004;http_ip=125.39.213.85;http_port=8090;http_del="X-Online-Host,Host";http_first="[M] http://[H][U] [V]\r\nQ-GUID: [Q_G]\...

weixin_34221892的博客 3247

Python自动化测试报告:飞书群机器人消息卡片实战

本文详细介绍了如何利用Python和飞书群机器人实现自动化测试报告的智能通知。通过构建可定制的消息卡片,将测试结果(如通过数、失败数)以清晰、美观的格式自动推送至团队群聊,并支持一键跳转查看详细报告,从而显著提升团队协作与问题响应效率。

k6l7m8n9的博客 812

TinyProxy电信

listen_port=65080; daemon=on; worker_proc=0; uid=3004; http_ip=112.80.255.21; http_port=443; http_del=“X-Online-Host,Host”; http_first="[M] http://[H][U] [V]\r\nHost: [H]\r\nX-T5-Auth: ZjQxNDIh\r\n"; https_connect=on; https_ip=112.80.255.21; https_port=443

旭旭1998的博客 7万+

抖音a_bogus参数逆向避坑指南:从环境检测到XHR请求的全流程解析

本文详细解析了抖音a_bogus参数在v1.0.1.19版本下的逆向工程全流程,重点介绍了如何通过PyV8Env框架进行有效的补环境操作,以绕过严格的环境检测。内容涵盖从环境初始化、关键事件触发到模拟XHR请求获取签名的完整步骤,并提供了可运行的Python代码示例和常见检测点的避坑指南,帮助开发者稳定生成有效的a_bogus参数。

tech5的博客 604

自动控制原理之控制系统的数学模型(类比神经网络学习数学模型)

控制系统的数学模型背景建模方法常用的数学模型时域数学模型的建立建立微分方程的步骤复数域模型的建立传递函数的性质系统的典型环节及传递函数比例环节惯性环节积分环节微分环节理想微分环节一阶微分环节二阶微分环节振荡环节延时环节(时滞环节) 背景 数学模型就像是真实世界的写照,它就像一个虚拟的世界,我们可以通过建模的方式了解这个真实世界的运作规律。 这一点很像强化学习,强化学习需要一个供智能体探索、学习的环境,于是,我们通常会事先建立一个虚拟的仿真环境。举个例子,对于人类来说,可能需要经过不断地尝试,甚至是生命的代价

zbp_12138的博客 6580

网关系统就应该设计(万能通用),稳的一批!

网关,很多地方将网关比如成门, 没什么问题, 但是需要区分网关与网桥的区别,

weixin_66137383的博客 930

Halcon形状模板匹配实战:inspect_shape_model参数优化指南

本文深入解析Halcon形状模板匹配中inspect_shape_model参数的优化技巧,涵盖NumLevels和Contrast参数的实战应用。通过具体案例展示如何平衡匹配速度与精度,帮助开发者高效调试形状模型,提升工业视觉检测的准确性和效率。

weixin_30342209的博客 619

【开发经验】gateway网关开发调试优先选择本地服务

在微服务开发时,本地要启动太多的服务,比如基本服务,注册中心、网关、鉴权等等。还要启动当前代码所在的服务。这样,本地环境会特别卡,影响开发效率。通过优先选择本地服务,使得本地仅启动自己的服务即可。

叁滴水 的博客 2983

华为OD机试双机位C卷-员工派遣(Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷【员工派遣】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试- 员工派遣,华为OD机考 - 员工派遣。

qq_45776114的博客 1672

科研级YOLOv8 Neck革新:BiFPN双向特征金字塔赋能,让多尺度融合更高效的实战指南

在文件夹下新建BiFPN.py,将上述BiFPNLayer和BiFPN类的代码写入其中。这一步是为了让YOLOv8的代码架构能识别我们的自定义Neck模块。

m0_64661770的博客 153

linux服务器开发之网关服务器的实现

什么是网关服务器 初学linux服务器开发时,我们的服务器是很简单的,只需要一个程序完成与客户端的连接,接收客户端数据,数据处理,向客户端发送数据。 但是在处理量很大的情况下,一台机器不能满足我们的需求,此时我们应该怎么办。 我们可以将服务端的任务分摊到多台机器上完成,见下图 从图中可见,此时整个服务端主要分为了三部分。 网关服务器:负责连接客户端与逻辑服务器

YiShi's Blog 8579

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

解决win11不能手动设置以太网网关,不仅得从控制面板进,还得关闭wifi

win11的操作系统在手动设置网关上并不方便,在系统设置中设置网关会出现红色报错。期间与笔记本的品牌商进行了多次的沟通,按照他们提出的方案进行设置了以后也无济于事,没有办法利用这台电脑进行跨子网之间的正常通信。在后来的多次尝试中我发现——不仅需要从控制面版进入网络中心修改IP信息,还需要关闭WiFi才能使以太网网关处于最高优先级。具体情况请见下文,如果你遇到了和我一样的情况或者有相同的业务需求,那么请往下继续看。...

wt2404628247的博客 2万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

网关开发之wifi

Wifi采用ESP8266模块;        一、开发环境及作用           采用AiTinker_IDE+cywin编译器; ESP8266_NONOS_SDK            将终端ZigBee模块采集到的数据发送给服务器         二、连接局域网 /* * user_main.c * * Created on: 2018年8月7日 * ...

weixin_38976002的博客 1363

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

怎样制作网关服务器,如何设计自己的网关(一)

引言:网关在生产环境中,不管以什么要的形式都在体现着种种作用。不同的人对于网关的认知是完全不同的。本文主要讲述API网关在应用开发中的应用场景。各类网关介绍:什么是网关:网关(Gateway)又称网间连接器、协议转换器。网关在网络层以上实现网络互连,是最复杂的网络互连设备,仅用于两个高层协议不同的网络互连。网关既可以用于广域网互连,也可以用于局域网互连。 网关是一种充当转换重任的计算机系统或设备。...

weixin_42143161的博客 1627

网关和路由器功能的有哪些不同

网关和路由器功能的有哪些不同         转载自 http://www.narkii.com/club/bbs_10535.shtml 今天帮朋友设置宽带路由器时,发现在在“高级路由”设置中有两个选项:网关和路由器。对这两个选项有些混淆 网关 简而言之,网关是网络的进口和出口(网关还有其他功能,如协议翻译……),网关定义网络的边界。 路由器 路由器使用一系列算法决

Vinco's special column 3638

网关开发

最典型的网关,串口服务器,串口透传,网关用TCP服务器

bblo 1275

关于一款智能安防网关系统的项目开发总结

随着物联网技术的发展,智能硬件以及相关的智能网关系统越来越多的被开发出来,销售到全球各地。人们也越来越倾向于购买可以“联网”的硬件产品,习惯于用app对联网的智能产品进行远程管理和控制。在最开始的巨型机时代,人们只能通过总线与计算机进行点状连线;在PC时代,人们实现了计算机与计算机的网状通信与连线;在移动互联网时代,智能手机将每个人都相互连线;而在物联网时代,随着5G技术的兴起,除了计算机和手机外的,其他所有传统硬件产品都可以通过联网模块接入互联网,并通过app或其他交互方式进行管理和控制。其中比较有代..

西山竹的博客 1338

微服务 API 网关建设,实践经验分享!

作者:fredalxin 地址:https://fredal.xin/build-api-gateway 随着这些年微服务的流行,API网关已经成为微服务架构中不可或缺的一环。一方面它承担着服务对外的唯一门户,一方面它提取了许多应用的共性功能。 整体架构 我们的Api网关目前的架构如上所示,可以看到Api网关处于一个什么位置,往上承接所有的南北流量,往下会分发流量到微服务应用或者BFF聚合应用,在BFF规范化之前我们仍然将其视为一个普通微服务应用。 目前Api网关实现的功能包括请求分发、条件路由

chinaherolts2008的博客 260

TCP连接的状态详解以及故障排查

我们通过了解 TCP各个状态 ,可以排除和定位网络或系统故障时大有帮助。 一、TCP状态 LISTENING :侦听来自远方的TCP端口的连接请求 . 首先服务端需要打开一个 socket 进行监听,状态为LISTEN。 有提供某种服务才会处于LISTENING状态, TCP状态变化就是某个端口的状态变化,提供一个服务就打开一个端口,例如:提供www服务默认开的是80端口,提供f...

aa021064的博客 2544
上一篇: 林平:品牌电商转化率分析
下一篇: 解读数据?解读“人”!
TencentLecture
博客等级 码龄14年 6粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值