k8s待研究项

最新推荐文章于 2025-09-05 14:26:41 发布
最新推荐文章于 2025-09-05 14:26:41 发布
阅读量130 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 运维
原文链接：https://juejin.im/post/5ca56d3ff265da30933fcf83
本文探讨了使用Nginx作为微服务网关时采用upstream配置方式可能带来的风险，并提供了一种不使用upstream的替代配置方案。通过具体的Nginx配置示例，展示了不同配置方式对服务请求路由的影响。
  • 如何测试一个服务在集群内的性能？
  • kube-proxy的获取不到iptables lock问题。
  • 使用nginx做微服务gateway，其配置使用upstream方式的风险，与另一种替代方案。
    1. 使用upstream的nginx配置文件
      kubectl describe cm pasp-nginx-conf -n shb-sf-stg-ce9ef3aa
#user  nobody;
worker_processes  1;

error_log  logs/error.log;

pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /wls/apache/nginx/nginx-1.13.3/conf/mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

     client_max_body_size 50M;
    log_format access '$remote_addr - $remote_user [$time_local] "$request"' '$status $body_bytes_sent "$http_referer"' '"$http_user_agent" $http_x_forwarded_for';

    #gzip  on;

    upstream pasp_core_web_upstream {
        server pasp-core-web-ui:7910;
    }

    upstream pasp_ws_web_upstream {
        server pasp-ws-web-ui:7910;
    }

    upstream aiknow_benifit_web_upstream{
        server icmp-aiknow-web-benefit-ui:7910;
    }

    upstream aiknow_verify_web_upstream {
        server icmp-aiknow-web-verify-ui:7910;
    }

    upstream pasp_aiknow_amlbl_web_upstream {
        server icmp-aiknow-web-amlbl-ui:7910;
    }


    upstream pasp_nmpr_web_upstream {
        server pasp-nmpr-web-ui:7910;
    }

    upstream pasp_pprk_web_upstream {
        server pasp-pprk-web-ui:7910;
    }

    upstream pasp_aiknow_web_rcbl_upstream {
        server pasp-aiknow-web-rcbl-ui:7910;
    }

    upstream pasp_eeportal_web_upstream {
        server pasp-eeportal-web-ui:7910;
    }

    upstream pasp_ira_web_upstream {
        server pasp-ira-web-ui:7910;
    }

    upstream fp_api_gateway_upstream {
        server fp-core-api-gateway.shb-sf-fp-core-stg-8af201ff:8086;
    }


    server {
        listen       7910;
        server_name  localhost;

    access_log  logs/host.access.log access;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;
    location = / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        add_header Cache-Control no-store;
        proxy_pass http://pasp_core_web_upstream/pasp-web/index.html;
        }

        location  ~* ^/pasp-web\/(.*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$) {
        proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_core_web_upstream;
        }

        location ^~ /ws-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_ws_web_upstream;
        }

        location ^~ /aiknow-benefit-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://aiknow_benifit_web_upstream;
        }

        location ^~ /aiknow-verify-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://aiknow_verify_web_upstream;
        }

        location ^~ /aiknow-amlbl-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_aiknow_amlbl_web_upstream;
        }


        location ^~ /nmpr-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_nmpr_web_upstream;
        }

        location ^~ /pprk-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_pprk_web_upstream;
        }

        location ^~ /aiknow-rcbl-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_aiknow_web_rcbl_upstream;
        }

        location ^~ /eeportal-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_eeportal_web_upstream;
        }

        location ^~ /ira-web/ {
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://pasp_ira_web_upstream;
        }

        location / {
            proxy_connect_timeout 3s;
            proxy_read_timeout 300s;
            proxy_send_timeout 3s;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            proxy_pass  http://fp_api_gateway_upstream;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

复制代码
    2. 不使用upstream的替代方案
    kubectl describe cm pasp-nginx-conf -n shb-sf-stg-949093af
#user  nobody;
worker_processes  1;

error_log  logs/error.log;

pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /wls/apache/nginx/nginx-1.13.3/conf/mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

     client_max_body_size 50M;
    log_format access '$remote_addr - $remote_user [$time_local] "$request"' '$status $body_bytes_sent "$http_referer"' '"$http_user_agent" $http_x_forwarded_for';

    #gzip  on;

    server {
        listen       7910;
        server_name  localhost;

    access_log  logs/host.access.log access;

        #charset koi8-r;
    resolver 172.254.0.2 valid=2s;

        #access_log  logs/host.access.log  main;
    location = / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        add_header Cache-Control no-store;
        #proxy_pass http://pasp_core_web_upstream/pasp-web/index.html;
        set $backend_servers pasp-core-web-ui.shb-sf-stg-949093af.svc.cluster.local.;
        proxy_pass http://$backend_servers:7910/pasp-web/index.html;
        }

        location  ~* ^/pasp-web\/(.*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$) {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_core_web_upstream;
            set $backend_servers pasp-core-web-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;

        }

        location ^~ /ws-web/ {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_ws_web_upstream;
            set $backend_servers pasp-ws-web-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;

        }

        location ^~ /aiknow-benefit-web/ {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_aiknow_benefit_web_upstream;
            set $backend_servers pasp-aiknow-web-benefit-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;
        }

        location ^~ /aiknow-amlbl-web/ {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_aiknow_amlbl_web_upstream;
            set $backend_servers icmp-aiknow-web-amlbl-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;
        }

        location ^~ /aiknow-rcbl-web/ {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_aiknow_amlbl_web_upstream;
            set $backend_servers pasp-aiknow-web-rcbl-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;
        }

         location ^~ /eeportal-web/ {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://pasp_aiknow_amlbl_web_upstream;
            set $backend_servers pasp-eeportal-web-ui.shb-sf-stg-949093af.svc.cluster.local.;
            proxy_pass http://$backend_servers:7910;
        }


        #location ^~ /nmpr-web/ {
        #    resolver 127.0.0.11;
        #    proxy_set_header Host $http_host;
        #    proxy_set_header X-Forwarded-Host $host;
        #    proxy_set_header X-Real-IP $remote_addr;
        #    proxy_set_header X-Forwarded-Server $host;
        #    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        #    add_header Cache-Control no-store;
        #    proxy_pass  http://pasp_nmpr_web_upstream;
        #}

        location / {
            #resolver 127.0.0.11;
            proxy_set_header Host $http_host;
            proxy_set_header X-Forwarded-Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            add_header Cache-Control no-store;
            #proxy_pass  http://fp_api_gateway_upstream;
            set $backend_servers fp-core-api-gateway.shb-sf-fp-core-stg-5066f14b.svc.cluster.local.;
            proxy_pass http://$backend_servers:8086;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
复制代码
k8s实战系列： 1-再谈为什么需要Kubernetes
琦彦
03-24 1万+
k8s系列： 再谈为什么需要Kubernetes 容器解决了什么？又遇到了什么问题 容器，到底是怎么一回事儿？ 在Docker出现之前，最为流行的是PaaS 项目。 PaaS 项目被大家接纳的一个主要原因，就是它提供了一种名叫“应用托管”的能力。 像 Cloud Foundry 这样的 PaaS 项目，最核心的组件就是一套应用的打包和分发机制。更好地模拟本地服务器环境，能带来更好的“上云”体验。 Cloud Foundry 会调用操作系统的 Cgroups 和 Namespace 机制为每一个应用单独创建一
request.getHeader("x-forwarded-for") = null ?
nlgshw的专栏
03-12 7030
request.getHeader(“x-forwarded-for”) = null ? 在使用Nginx代理网络请求时，设置proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for，但是的server端(Tomcat，Spring)收到的网络请求中却得不到这个x-forwarded-for的信息。
[web-025]k8s概述
大数据和机器学习研究
09-16 422
k8s是容器编排的主流工具。 两本参考书《k8s指南》《k8s权威指南》 k8s集群有多个节点，节点可以是物理机也可以是虚机。节点分两类，Master节点，通常是一台，Node节点，通常是多台。Master节点，负责整个集群的管理和控制。Node节点，是工作节点，由Master管理。 k8s集群最重要的概念是Service。k8s对外表现的结果是若干个Service。一个Service有如下...
不忘初心--k8s研究收获
荼白
05-01 451
初心 还记得 18 年 11 月份的时候，璐璐问我要不要研究一下 k8s 的东西 ，当时一脸懵，想着这是个什么， 本着学习的精神，就开始跟着 ‘ 朝哥 ’ 一起了，不得不说最开始什么都不懂，还是挺难受的，但是也在搜集资料的过程中学到了不少东西 ，后来经过万般挫折算是用 jenkins 部署成功了一个项目，结束后就继续投入到了番茄的开发中，当时以为就结束了，以为 k8s 算是生活中的一个小插曲，没想...
Kubernetes研究-篇1
runzhliu大数据/容器日记
06-25 290
文章目录1 Overview2 随便看看3 Summary 1 Overview 今天开始，正式系统地学习 K8S。我所谓系统学习的方式，就是看文档和源码，结合这些来做些小 demo，我不知道需要写到篇几，才能让自己正式入门，或者说称为 K8S 的专家，但是我会坚持下去的。 2 随便看看 关于 K8S，其实工作中早在2017年已经有接触过了，当时参加 Qcon 听了几个 Talk，确实听的一塌糊涂...
Kubernetes研究-篇2
runzhliu大数据/容器日记
06-25 203
文章目录1 Overview2 Release Notes3 Summary 1 Overview 篇1简单做了个开头，篇2准备继续简单的说两句。突然想看看 Kubernetes 的 Release Notes，看看每个版本都做了些什么，虽然我可能还在门外，但是不妨碍我去感受 K8S 能做什么牛逼事的好奇心啊。 2 Release Notes Github 上一般会有个 Release 的 Tab...
K8s(Kubernetes)架构笔记
架构师学习成长之路
04-24 2万+
K8s满足的需求 K8s的主要职责是容器编排(Container Orchestration)，即在一组服务器上启动、监控、回收容器，在满足排程的同时，保证容器可以健康的运行。K8s架构的概念/术语 学习K8s架构之前，需要了解一些K8s特有的概念：Cluster 集群K8s可利用的主机、存储和网络资源的集合。Node 结点单台主机，可以是物理的或虚拟的计算机。结点分为主结点(ma...
k8s实践(15)--调度器扩展
黄规速博客:学如逆水行舟，不进则退
01-07 1447
一般来说，我们有 4 种扩展 Kubernetes 调度器的方法。1、直接 clone 官方的 kube-scheduler 源代码进行修改：在合适的位置直接修改代码，然后重新编译运行修改后的程序，当然这种方法是最不建议使用的，也不实用，因为需要花费大量额外的精力来和上游的调度程序更改保持一致。默认的调度器和我们自定义的调度器可以通过 Pod 的。
当 K8s 集群达到万级规模，阿里巴巴如何解决系统各组件性能问题？
2303_77877769的博客
04-21 788
还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来。
生产环境使用K8s一年后，我们总结了这些经验教训
lsz137105的专栏
02-25 3501
我的公众号「码农之屋」(id: Spider1818)，分享的内容包括但不限于 Linux、网络、云计算虚拟化、容器Docker、OpenStack、Kubernetes、SDN、OVS、DPDK、Go、Python、C/C++编程技术等内容，欢迎大家关注。 2015年初，我们计划为开发团队搭建一套全新的部署平台，在此之前我们使用的是Amazon EC2。尽管AWS-based steup...
【K8s资源调度从理论到实践】：打造完整指南的8大步骤
[【K8s资源调度从理论到实践】：打造完整指南的8大步骤](https://cdn.sanity.io/images/6icyfeiq/production/b0d01c6c9496b910ab29d2746f9ab109d10fb3cf-1320x588.png?w=952&h=424&q=75&fit=max&auto=format) ...
几种在 Kubernetes 集群中获取客户端真实 IP 的方法
easylife206的专栏
12-15 8770
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！Kubernetes 依靠 kube-proxy 组件实现 Service 的通信与负载均衡。在这个过程...
K8s 超详细总结！
热门推荐
weixin_38320674的博客
03-10 5万+
一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿...
Kubernetes学习笔记（一）
02-18 4171
导语 2015年4月，传闻已久的Borg论文伴随Kubernetes的高调宣传被谷歌首次公开； Kubernetes是一个完备的分布式系统支撑平台，具有完备的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和服务发现机制、内建智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制，以及多粒度的资源配额管理能力。同时
认识Kubernates(K8S)
xiangzhihong8的专栏
08-23 5178
在后端开发中，在介绍Jenkins的可伸缩部署方式上，主要有两种方式：一种是基于Docker（或者docker-swarm 集群）的部署方式，另外一种是基于kubernetes的部署方式(而kubernetes也是基于docker而设计的)。基本概念kubernetes是google开源的容器集群管理系统，提供应用部署、维护、扩展机制等功能，利用kubernetes能方便管理跨集群运行容器化的应用，
K8s概念指南
见证大牛成长之路的专栏
06-09 1万+
K8s概念指南 Cluster:集群是指由k8s使用一些列的物理机,虚拟机和其他基础资源来运行你的应用程序. Node:一个node就是一个运行着k8s的物理机或虚拟机,平切pod可以在其上面被调度. Pod:一个pod对应一个由相关容器和卷组成的容器组. Label:一个label是一个被附加到资源上的键/值对,譬如附加到一个pod上,
kubernetes dashboard 管理集群
wuxingge的博客
07-08 1950
RBAC vi /data/k8s-yaml/dashboard/rbac.yaml apiVersion: v1 kind: ServiceAccount metadata: labels: k8s-app: kubernetes-dashboard addonmanager.kubernetes.io/mode: Reconcile name: kubernetes-dashboard-admin namespace: kube-system --- apiVersion:
公司两条宽带 + AD 域控，DNS 这样配才最稳！
最新发布
IT小农工
09-05 300
把“运营商 DNS”放在路由器 WAN 口做策略，把“公共 DNS”放在 AD 转发器做兜底 —— 双保险，稳！
K8s 1.19.3镜像快速拉取指南
标题“k8s-for-docker-desktop.zip”表明了这个压缩包文件是针对在Docker Desktop环境下使用的Kubernetes (简称k8s) 相关的工具或配置文件。Docker Desktop是Docker公司提供的一个轻量级桌面应用，它允许用户在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值