Iptables与网络协议栈

iptables工作原理:netfilter内核钩子与数据包流转机制 iptables是Linux中基于netfilter框架的用户态防火墙工具,其本质并非独立服务,而是对内核网络协议栈5个关键hook点(PRE_ROUTING、INPUT、FORWARD、OUTPUT、POST_ROUTING)的规则编排接口。理解这些hook的触发时机与数据包生命周期,是掌握DNAT/SNAT、容器网络、双栈IPv4/IPv6策略一致性的基础。netfilter作为底层骨架,决定了规则何时生效、为何生效——例如PREROUTING阶段执行目标地址转换,而INPUT链仅处理路由后发往本机的流 阅读详情

Iptables:

关于filter和nat:

以下内容来自于: http://www.zsythink.net/?s=iptables,建议看原作者的链接 ,讲的特别好,我这里只是记录笔记。

2019/03/24更新:关于iptables的netfilter后续,常用ACL(访问控制列表)来控制路由器接口对某个ip段或tcp段的访问,也就是告诉路由器哪些数据允许出入,哪些数据拒绝出入。一个ACL中有多个rule时,冲突时rule标号小的命令有效。
例:

[R1]rip
[R1-rip-1]version 2
[R1-rip-1]nerwork 192.168.1.0
[R1-rip-1]network 192.168.4.0
[R1]acl 3000
[R1-acl-adv-3000]rule 20 permit ip source 192.168.1.1 0 destination 192.168.2.0 0.0.0.255  //在R1中创建ACL 3000,设置允许访问192.168.2.0网络
[R3]acl 3000
[R3-acl-adv-3000]rule 10 permit tcp source 192.168.1.1 0 destination 192.168.3.10 destination-port eq 80 //允许客户端访问服务器的WEB服务
[R3-acl-adv-3000]rule 20 deny ip source 192.168.1.1 0 destination 192.168.3.1 0//禁ping
[R3-GigabitEthernet0/0/0]traffic-filter inbound acl 3000 //进方向打开ACL,3000是扩展的

网卡->协议栈->用户空间的web服务
网卡->协议栈->其他主机
每个链上的规则都存在于一些表中。
一共有四种表:filter表、nat表、mangle表和raw表。
规则由匹配条件和处理动作组成。

匹配条件:
基本匹配条件:源地址ip、目的地址ip
扩展匹配条件:源端口、目的端口

处理动作:ACCEPT、DROP、REJECT、SNAT(源地址转换)、MASQUERADE、DNAT(目的地址转换)、REDIRECT(本机做端口映射)、LOG(记录之后传递给下一条规则)

filter表中的规则可以被哪些链使用:INPUT、FORWARD、OUTPUT
nat表中的规则可以被哪些链使用:PREROUTING、OUTPUT、(POSTROUTING)
mangle表中的规则可以被哪些链使用:PREROUTING、INPUT、FORWARD、OUTPUT、POSTROUTING
raw表中的规则可以被哪些链使用:PREROUTING、OUTPUT

iptables命令小结:

iptables -t filter -nvxL (链名如INPUT)//不使用-t命令则默认操作filter(过滤)表。
iptables (-t filter) -I INPUT -s 192.168.1.146 -j DROP//在156的主机上配置一条规则:拒绝146上的
所有报文访问当前机器。这样用146去ping156的主机发现没有结果。(-I是加在最前面,-A是加在最后面,先匹配
前面的规则再匹配后面的,因此如果加了拒绝又想再接受的话就需要在拒绝之前添加接受才可以成功)
iptables -I INPUT -s 192.168.1.146 -j ACCEPT
iptables --line -vnL INPUT //显示INPUT链的行号
iptables -t filter -D INPUT 3 //删除INPUT链的第三条规则
iptables -t 表名 -F 链名 //删除此链中的所有操作

-R命令进行修改的时候-s不能省略。

iptables -t filter -R INPUT 1 -s 192.168.1.146 -j REJECT//将DROP修改为REJECT
service iptables save//ubuntu的
在使用--dport之前一定要选定-p,也就是协议。
如:iptables -t filter -I INPUT -s 192.168.1.146 -p tcp (-m tcp)可省略 --dport 22 -j REJECT
扩展模块:iprange(--src-range、--dst-range)
iptables -t filter -I INPUT -m iprange --src-range 192.168.1.127-192.168.1.146 -j DROP
string(--algo bm、--algo kmp)
iptables -t filter -I INPUT -m string --algo bm --string "OOXX" -j REJECT

time(--timestart、--timestop、weekdays、monthdays、datestart、datestop)
iptables -t filter -I OUTPUT -p tcp --dport 80 -m time --timestart 09:00:00 --timestop 
18:00:00 -j REJECT//约束自己每天上午9点到下午6点不能看网页
iptables -t filter -I OUTPUT -p tcp --dport 80 -m time --weekdays 6,7 -j REJECT//周六日不
能看网页
同时的话是与的关系相当于:
iptables -t filter -I OUTPUT -p tcp --dport 80 -m time --timestart 09:00:00 --timestop 
18:00:00 --weekdays 6,7 -j REJECT
iptables -t filter -I OUTPUT -p tcp --dport 80 -m time --datestart 2017-12-24 --datestop 
2017-12-27 -j REJECT

connlimit(--connlimit-above 2)
limit(--limit 10/minute)限制ping的速率和数量,令牌桶算法

--tcp-flags
TCP的flags有C E U A P R S F
模拟第一次握手:
iptables -t filter -I INPUT -p tcp -m tcp -dport 22 --tcp-flags ALL SYN -j REJECT
iptables -t filter -I INPUT -p tcp -m tcp -dport 22 --tcp-flags SYN,ACK,FIN,RST,URG,PSH SYN -j REJECT
模拟第二次握手:
iptables -t filter -I INPUT -p tcp -m tcp -sport 22 --tcp-flags ALL SYN,ACK -j REJECT

-m udp扩展:适合udp端口
-m icmp(--icmp-type)扩展:
iptables -t filter -I INPUT -p icmp -j REJECT//我们无法ping通别人别人也无法ping通我们
iptables -t filter -I INPUT -p icmp --icmp-type 8/0 -j REJECT//我们能ping别人但别人不能ping
我们

-m state扩展:
报文一般来说有五种状态:
NEW、ESTABLISH、RELATED、INVALID、UNTRACKED
如果不希望收到外来的主动连接我们一般只要开通ESTABLISH和RELATED状态就好。
iptables -t filter -I INPUT -m state RELATED,ESTABLISH -j ACCEPT
设置黑白名单要修改默认的设置时最好使用-A,而不是-I,这样做了-F操作以后还能回到之前。也就是
iptables -P INPUT DROP改为iptables -A INPUT -j REJECT

自定义链:

iptables -t filter -N IN_WEB

自定义一条只管理80端口的链,可用iptables -nvL查看引用情况。给这条链设置规则跟INPUT、OUTPUT没什么区别。
现在用INPUT链去引用他:

iptables -I INPUT -p tcp --dport 80 -j IN_WEB,
这时候iptables -nvL发现一条引用。-j用于指定动作。
-E给链改名:iptables -t filter -E IN_WEB WEB
-X删除自定义链:
iptables -t filter -D INPUT 1
iptables -F WEB
iptables -X WEB

Linux主机默认不开启转发模式,这也就是平时能ping通内网网关ip而ping不通内网主机的原因,因为网关根本就没有将包进行转发给到内网主机。因此我们需要在主机B配置开启转发功能。需要在FORWARD链进行双向放行,这样可以传达出去也可以响应回来。

iptables -I FORWARD -s 10.1.0.0/16 -p tcp --dport 80 -j ACCEPT
iptables -I FORWARD -d 10.1.0.0/16 -p tcp --sport 80 -j ACCEPT
放行所有响应报文:
iptables -I FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
接着只用考虑请求报文的方向,我们要让内部能够向外请求sshd,则是
iptables -I FORWARD -s 10.1.0.0/16 -p tcp --dport 22 -j ACCEPT,也就是主机C可以访问主机A的22端口。

SNAT动作:

iptables -t nat -A POSTROUTING -s 10.1.0.0/16 -j SNAR --to-source 192.168.1.146
可用iptables -t nat -nvL来查看
SNAT规则只能存在于POSTROUTING链(看版本:或者INPUT链中)
清空nat表:iptables -t nat -F

DNAT动作:

iptables -t nat -I PREROUTING -d 192.168.1.146 -p tcp --dport 3389 -j DNAT --to-destination 10.1.0.6:3389
同时最好开启SNAT,也就是:
iptables -t nat -A POSTROUTING -s 10.1.0.0/16 -j SNAT --to-resource 192.168.1.146

DNAT用法也相当于

 iptables -t nat -I PREROUTING -d 192.168.1.146 -p tcp --dport 801 -j DNAT --to-destination 10.1.0.1:80

这里等价于将对801端口的访问转发到10.1.0.1的80端口上。
DNAT规则只定义在PREROUTING链和OUTPUT链中。

SNAT也就是源地址转换,常见于局域网访问互联网,DNAT也就是目的地址转换,常见于企业内部发布到互联网。由于是涉及到目标地址,所以需要端口号,传输去到特定的服务中。
还有MASQUERADE(动态SNAT地址,如果没需求不要用,因为SNAT更高效)
REDIRECT(重定向)

关于mangle:https://blog.youkuaiyun.com/lee244868149/article/details/45113585

//假设eth0是靠近内网的网关,eth1是20.0.0.1的网关,eth2是10.0.0.1的网关,默认走eth1,在192.168.10.1-192.168.10.100范围
内的主机走eth2:
ip route add default gw 20.0.0.1//路由表定义默认网关
ip route add table 10 via 10.0.0.1 dev eth2//路由表定义特定情况下的网关
ip rule add fwmark 10 table 10//将路由表和特定的标记关联起来
iptables -A PREROUTING -t mangle -i eth0 -s 192.168.10.1-192.168.10.100 -j MARK --set-mark 10//标记什么情况下走路由
表10的数据包

关于raw:raw表主要用于解决链接数量过大的问题降低负载或一些其他原因屏蔽追踪。
1.web服务器负载过重解决方案:

//vi /etc/sysctl.conf:
(1)加大ip_conntrack_max值
(2)降低ip_conntrack timeout时间
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established
net.ipv4.netfilter.ip_conntrack_tcp_timeout_time_wait
net.ipv4.netfilter.ip_conntrack_tcp_timeout_close_wait
net.ipv4.netfilter.ip_conntrack_tcp_timeout_fin_wait
(3)iptables -t raw -A PREROUTING -p tcp --dport 80 -j NOTRACK
iptables -t raw -A PREROUTING -p tcp --sport 80 -j NOTRACK
iptables -A FORWARD -m state --state UNTRACKED -j ACCEPT

2.跟踪调试数据包:

iptables -t raw -A OUTPUT -p icmp -j TRACE
iptables -t raw -A PREROUTING -p icmp -j TRACE
加载对应内核模组:modprobe ipt_LOG//调试信息在/var/log/kern.log
然后开始ping外部网址去log中查看对应信息。
可以看到数据包在哪个部分被截断,如果nat表截断就去nat的规则里查看问题所在。

说到track就不得不提MARK,用于给数据包或数据链路打标记。MARK只能在mangle链上,用于打标记,前面也用了set-mark去路由不同标记的数据包去到不同的网关:

MARK流程:
iptables -A POSTROUTING -t mangle -j CONNMARK --restore-mark//如果有save-mark操作则将标记记录到数据包中。
iptables -A POSTROUTING -t mangle -m mark ! --mark 0 -j ACCEPT//接受所有打了标记的数据包
iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 21 -t mangle -j MARK --set-mark 1
iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 80 -t mangle -j MARK --set-mark 2
iptables -A POSTROUTING -m mark --mark 0 -t mangle -p tcp -j MARK --set-mark 3//三种标记操作
iptables -A POSTROUTING -t mangle -j CONNMARK --save-mark//将标记保存,这样当该链的下一个数据包走到第一条规则时,就会
被打上标记并命中第二步的ACCEPT

tc:内容取自:https://blog.youkuaiyun.com/u011641885/article/details/45640313/
流量控制器上的以太网卡(eth0)的IP地址为 192.168.1.66, 在其上建立一个CBQ队列。
假设包的平均大小为1000字节,包间隔发送单元的大小为8字节,可接收冲突的发送最长包的数目为20字节。加入有三种类型的流量需要控制:                  
1)是发往主机1的,其IP地址为192.168.1.24。其流量带宽控制在8Mbit,优先级为 2;
2)是发往主机2的,其IP地址为192.168.1.30。其流量带宽控制在1Mbit,优先级为1;
3)是发往子网1的,其子网号为192.168.1.0。子网掩码为255.255.255.0。流量带宽控制在1Mbit,优先级为6。

建立队列:
tc qdisc add dev eth0 root handle 1: cbq bandwidth 10Mbit avpkt 1000 cell 8 mpu 64

建立分类:
tc class add dev eth0 parent 1:0 classid 1:1 cbq bandwidth 10Mbit rate 10Mbit maxburst 20 allot 1514 prio 8 
avpkt 1000 cell 8 width 1Mbit

tc class add dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 8Mbit maxburst 20 allot 1514 prio 2 
avpkt 1000 cell 8 weight 800Kbit split 1:0 bounded//split是分类的分离点

tc class add dev eth0 parent 1:1 classid 1:3 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 1 
avpkt 1000 cell 8 weight 100Kbit split 1:0

tc class add dev eth0 parent 1:1 classid 1:4 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 6 
avpkt 1000 cell 8 weight 100Kbit split 1:0

建立过滤器:
tc filter add dev eth0 parent 1:0 protocol ip prio 100 route
tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 2 flowid 1:2
tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 3 flowid 1:3
tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 4 flowid 1:4

建立路由:
ip route add 192.168.1.24 dev eth0 via 192.168.1.66 realm 2
ip route add 192.168.1.30 dev eth0 via 192.168.1.66 realm 3
ip route add 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4

监视:
tc -s qdisc ls dev eth0
tc -s class ls dev eth0
tc -s filter ls dev eth0
ip route


 

网络协议栈:https://blog.youkuaiyun.com/zqixiao_09/article/list/2       博客里主要讲了关于二层、三层和netfilter。

二层桥:涉及到ARP表和交换表的自学习,找不到的通过ARP广播出去再单播回来即可。
路由交换表记录的是路由器(需开启混杂模式)的网卡eth和MAC,而ARP记录的是MAC和IP。
带VLAN的二层转发可以在VLAN组里进行广播,也就是一个VLAN组是一个广播域,不同VLAN需要三层转发进行互通,二层是互通不了的。

三层链路:邻居子系统在L2.5层,ARP协议就是邻居子系统架构的一种实现,负责探测ip和mac的邻居。网桥端口和vlan子接口是建立在物理接口上的虚拟接口,他们通过软件产生了br0、vlan0这种名字后最终还是会转化到eth0等接口上面去。链路层实现了网桥端口、vlan子接口、邻居子系统、网卡驱动和协议栈上层接口、L2隧道功能、以太网类型实现的链路层协议收发报文(vlan_skb_recv、ip_rcv、arp_recv、原始套接字packet_recv等)。发送到接口通过dev_queue_xmit、接收进来netif_receive_skb。

AF_INET(PF_INET)的序号为2,因此PRE_ROUTING的钩子函数挂载点是nf_hooks[2][0]
NF_IP_PRE_ROUTING:nf_hooks[2][0],ip_rcv()   ip_rcv_finish()
NF_IP_LOCAL_IN:nf_hooks[2][1],ip_local_deliver()   ip_local_deliver_finish()
NF_IP_FORWARD:nf_hooks[2][2],ip_forward() ipmr_queue_xmit()//多播相关
NF_IP_LOCAL_OUT:nf_hooks[2][3],ip_queue_xmit()  ip_bulid_and_send_pkt()
NF_IP_POST_ROUTING:nf_hooks[2][4],ip_finish_output() ip_finish_output2() ip_mc_output()//克隆新的网络缓存skb
hook机制:NF_HOOK->nf_hook_slow()->nf_hookfn->okfn
nf_hook_slow()函数接收协议簇和Hook类型,根据这两个要素从nf_hooks中获得对应的前面注册好的Hook链表首部:
elem = &nf_hooks[pf][hook];
然后调用nf_iterate,遍历Hook链表,调用链表上所有的Hook函数。
#define NF_DROP 0
#define NF_ACCEPT 1
#define NF_STOLEN 2
#define NF_QUEUE 3//进入用户空间
#define NF_REPEAT 4
#define NF_STOP 5

接着就是路由转发问题等等。

 

零入门kubernetes网络实战-2->网络协议栈包括哪些? 零入门容器云网络实战 之 网络协议栈有哪些 阅读详情

相关推荐

AI Agent Harness Engineering 创业PMF验证工具:用户满意度+留存率+业务指标监测表

在AI Agent创业的浪潮中,我们看到了无数产品如雨后春笋般涌现,但最终能够真正找到PMF并存活下来的却寥寥无几。根据CB Insights的数据,创业公司失败的首要原因(占42%)是"没有市场需求"——换句话说,就是没有找到PMF。AI Agent产品由于其特殊性(交互范式的变革、技术复杂度高、用户期望管理困难等),PMF验证变得更加具有挑战性。传统的SaaS产品PMF验证框架虽然有参考价值,但无法完全适用于AI Agent这种新型产品形态。

AI智能探索者的博客 336

iptables/netfilter/iproute2/ip/tc/qdisc经常被混淆的几个概念

iptables,netfilter,iproute2,ip,tc,这几个是在讨论Linux防火墙和QOS构建时,chains, nat table, filter table, raw table, security table,mangle table

meihualing的专栏 1922

ubuntu安装XXX包时出现(= 20.0.8-0ubuntu1~18.04.1) but it is not going to be installed

安装mujoco_py时,最后一步尝试 import mujoco_py 时出现报错 esashim.c:1:10: fatal error: GL/osmesa.h: No such file or directory 1 | #include <GL/osmesa.h> | ^~~~~~~~~~~~~ compilation terminated. 在https://github.com/openai/mujoco-py#ubuntu-ins

dealexce的博客 1794

iptables-TCP协议和UDP协议

文章目录 1.iptables 2.传输层 1.iptables iptables 是一个防火墙工具 Linux内核中有一个用户空间(user space)和内核空间(kernel space),iptables工作在用户空间,在内核空间中相对应的是netfilter,iptables给netfilter传递参数,之后netfilter会对传输进来的数据进行过滤,然后通知应用程序取数据 ...

m0_57633272的博客 2619

【5G NB-IoT NTN】3GPP R17 NB-IoT NTN介绍_nbiot ntn

在3GPP R17协议中,将NB-IoT集成到了NTN(非陆地网络,即卫星通信)中,并定义了一个系统架构。在这个架构中包括一个可配置再生payload的低轨道(LEO)卫星,这意味着该卫星可以执行传统基站的全部或部分功能。该系统架构还可以适配同步轨道(GEO)卫星,这些卫星与LEO卫星类似,也可以配置再生payload。系统高度范围轨道波束覆盖范围LEO300~1500km绕地球转100~1000kmGEO35786km与地球自转同步200~3500km。

2401_84010302的博客 3570

记一次从零到getshell的渗透历程

0x00 前期 拿到测试范围清单后,首先用脚本获取了下各个子站的标题,基本都是XXX管理系统。浏览器查看后,各个子站也大同小异,纯登录系统,带验证码。这些系统基本都是jsp写的,逮到了两个没有验证码的小宝贝,一番暴力破解,小宝贝对我说:别爱我,没结果。又看到了两个站返回的Set-Cookie头:rememberMe=deleteMe; 很明显,这是Apache Shiro。打了一波exp,没有反应,放弃。搞了三天啥都没搞出来,和女朋友出去玩散散心,还是很高兴。 0x01 初显进展 测试范围内有六个门户

CanMeng'Blog - 一个WEB安全渗透的技术爱好者 3970

iptables深入解析-mangle篇

讲了filter、ct、nat 现在剩下最后一个知名模块mangle,但是自身虽然知道内核支持修改数据包的信息,它主要用在策略路由和qos上.我们就具体分析一下. mangle表主要用于修改数据包的TOS(Type Of Service,服务类型)、TTL(Time To Live,生存周期)指以及为数据包设置Mark标...

weixin_34107739的博客 2474

上、下拉电阻(定义、强弱上拉、常见作用、吸电流、拉电流、灌电流)

1.上、下拉电阻定义 上拉电阻是把一个信号通过一个电阻接到电源(Vcc),下拉电阻是一个信号通过一个电阻接到地(GND)。 2.强上拉、弱上拉 强上拉、弱上拉的强弱只是上拉电阻的阻值不同,没有什么严格区分。例如:50Ω上拉,一般成为强上拉;100kΩ上拉则称为弱上拉。下拉也是一样的。强拉电阻的极端就是0Ω电阻,即将信号线直接与电源或低相连接。 3.上、下拉电阻的作用 因为上下拉电阻的作用概念很宽泛,不用领域的使用方法也不同,常见使用方法整理如下: ...

小浪宝宝的博客 3万+

【iptables】linux网络防火墙-iptables基础详解(重要)

一:前言     防火墙,其实说白了讲,就是用于实现Linux下访问控制的功能的,它分为硬件的或者软件的防火墙两种。无论是在哪个网络中,防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作,这就是防火墙的策略,规则,以达到让它对出入网络的IP、数据进行检测。     目前市面上比较常见的有3、4层的防火墙,叫网络层的防火墙,还有7层的防火墙,其实是代理层的网关。...

weixin_34148340的博客 260

YOLO26源码深度解析:从主干网络到端到端部署优化

目标检测模型在工业落地中,不仅需要精度,更要求训练稳定、推理高效。YOLO系列近年持续演进,出现了代号为YOLO26的实验性整合版本,其核心思路是融合重参数化卷积、SPD模块、可学习跨尺度融合与双分支一致性分配等机制,兼顾小目标检测与端到端推理。从源码角度看,模型配置文件定义了分层结构,前向数据流保留了主干-颈部-输出头的经典范式,但在细节上通过空间重排列降低下采样信息丢失,并针对训练与推理设计了可折叠的算子结构。这种设计使得导出时无需复杂后处理,配合算子融合与真实数据量化,可在边缘设备上获得稳定的检测性能

weixin_28224217的博客 246

【AUTOSAR-RTE】-1-聊一聊RTE(Run-Time Environment)

RTE(Run-Time Environment)是AUTOSAR ECU架构的核心。

「汽车电子助手」的博客 6502

iptables 和 netfilter 详解

iptables和netfilteriptables是Linux 上最常用的防火墙工具,iptables 与协议栈内有包过滤功能的 hook 交互来完成工作。这些内核 hook 构成了 netfilter 框架每个进入网络系统的包(接收或发送)在经过协议栈时都会触发这些 hook,程序可以通过注册 hook 函数的方式在一些关键路径上处理网络流量。iptables 相关的内核模块在这些 hook 点注册了处理函数,因此可以通过配置 iptables 规则来使得网络流量符合防火墙规则。

qq_49554011的博客 2364

【人工智能】Spring AI项目在定义 `response_format` 的 Invalid schema for response_format ‘custom_schema‘

确保。

奶爸的编程之路,也就一周冷个三天 562

linux下iptables和Netfilter详解(3):实现机制和扩展技术

2.4.x的内核相对于2.2.x在IP协议栈部分有比较大的改动, Netfilter-iptables更是其一大特色,由于它功能强大,并且与内核完美结合,因此迅速成为Linux平台下进行网络应用扩展的主要利器,这些扩展不仅包括防火墙的实现--这只是Netfilter-iptables的基本功能--还包括各种报文处理工作(如报文加密、报文分类统计等),甚至还可以借助Netfilter-iptable...

qq_18144747的博客 655

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Linux 网络丢包怎么排查?(非常详细)从零基础到精通,收藏这篇就够了!

这张看似清晰的丢包路径图,实际上隐藏着无数的坑。tc工具配置的QoS策略导致的丢包,网卡统计信息才不会告诉你呢!看来,链路层只是背了部分锅,真凶另有其人!不过,Linux提供了协议收发汇总,想赖都赖不掉!Filter表中的DROP和REJECT规则,是丢包的重灾区!因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取。因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取。因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取。因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取。

leah126的博客 807

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

深入浅出Linux内核网络协议栈|结构sk_buff|Iptables|Netfilter丨内核源码丨驱动开发丨内核开发丨C/C++Linux服务器开发

深入浅出Linux内核网络协议栈 视频讲解如下,点击观看: 深入浅出Linux内核网络协议栈|结构sk C/C++Linux服务器开发高级架构师知识点精彩内容包括:C/C++,Linux,Nginx,ZeroMQ,MySQL,Redis,MongoDB,ZK,流媒体,P2P,音视频开发,Linux内核,Docker,TCP/IP,协程,DPDK多个高级知识点分享。 点击链接进入订阅不迷路随时观看:C/C++Linux服务器开发/Linux后台架构师-学习视频 Linux服务器开发高级架构qun:

Linuxhus的博客 211

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Linux性能优化实战,网络丢包问题分析

对于 Linux 系统的使用者来说,网络性能的优劣直接关系到系统的整体表现。而在网络性能问题中,网络丢包堪称最为棘手的难题之一,它就像隐藏在暗处的杀手,悄无声息地侵蚀着系统的性能。想象一下,当你在服务器上部署了一个关键的应用服务,满怀期待地等待用户的访问和使用。然而,用户却频繁反馈访问速度极慢,甚至出现连接中断的情况。经过一番排查,你发现罪魁祸首竟然是网络丢包。这时候,你就会深刻地意识到,网络丢包问题绝不是一个可以忽视的小麻烦。从专业角度来看,网络丢包会带来一系列严重的后果。

深度Linux 1912

Linux网络协议栈4--bridge收发包

bridge 是linux上的虚拟交换机,具有交换机的功能。 网卡收到包后,走到__netif_receive_skb_core后,剥完vlan找到vlan子接口(如果有的话),如果skb->dev是bridge成员口,就会走到bridge成员口的接收处理函数。 static int __netif_receive_skb_core(struct sk_buff *skb, bool pfmemalloc) { ...... /* bridge、ovs的接口,都会走到。 如果一个dev被添加到一

bigsheng2的博客 1515

基于Docker的拓扑网络搭建可行性探究

原目的为通过Docker来搭建一个与实际网络类似的大型拓扑网络,经过对Docker网络的实际认知和隔离机制的探究,发现利用Docker至多在单主机上多做一层子网,子网间的通信也存在一定的限制,容器网络本身有一定的局限性。

weixin_43462098的博客 1297

gre包分片及gro、gso等offload特性的应用

图1 直接上图,再分别简单介绍各部分: PC:笔记本电脑。 gw1:使用一台微型服务器模拟企业用户网关,同时添加静态路由使具备简单路由功能。 gw2:模拟ISP,同时添加静态路由使具备简单路...

囚牢-峰子的博客 2139

Linux Netfilter介绍

netfilter 框架由最著名的 Linux 内核开发人员之一 Rusty Russell 于 1998 年创立,作为对 ipchains(Linux 2.2.x)和 ipfwadm(Linux 2.0.x)的旧实现的改进。netfilter 子系统提供了一个框架,你可以在网络堆栈中的数据包遍历过程中的各个点(netfilter hooks)注册回调并对数据包执行各种操作,比如更改地址或端口、丢弃数据包、日志记录等。

weixin_42915431的博客 7826

Linux网络协议栈的深度解析:从链路层到应用层

网络协议栈是操作系统的重要组成部分,它负责处理网络数据的传输和接收。Linux网络协议栈实现了TCP/IP协议族,支持各种网络设备和应用。本文将深入分析Linux网络协议栈的工作原理,从链路层到应用层,全面理解网络数据的处理流程和优化方法。

jiang_style的博客 4006

Linux内核中的网络协议栈详解

网络协议栈是指实现网络通信协议的软件层次结构,它按照协议的层次关系组织,每一层负责特定的网络功能,下层为上层提供服务。

jiang_style的博客 4682

iptables 学习

关于 iptables 四表五链,网上有很多介绍的文章,本文不在叙述,是在看源码时的一些想法和思考。raw 表: 确定是否对该数据包进行状态跟踪。包含两个规则链,OUTPUT、 PREROUTINGmangle 表: 修改数据包内容,用来做流量整形的,给数据包设置标记。包含五个规则链,INPUT、 OUTPUT、FORWARD、 PREROUTING、 POSTROUTINGnat 表: 负责网络地址转换,用来修改数据包中的源、目标IP地址或端口。

mr1jie的博客 671

Linux 网络丢包怎么排查?终于搞懂了!

从图中你可以看出,可能发生丢包的位置,实际上贯穿了整个网络协议栈。换句话说,全程都有丢包的可能。 • 在两台 VM 连接之间,可能会发生传输失败的错误,比如网络拥塞、线路错误等; • 在网卡收包后,环形缓冲区可能会因为溢出而丢包;

伤心的辣条 1044

Netfilter 学习

一、Netfiter简介 ---From netfilter.samba.org/what is netfilter     从Linux Kernel 2.4开始,一个新的网络包过滤框架替代了原来的ipchains/ipfwadm系统,那就是netfilter和iptables。作为内核网络协议堆的一个扩展子集,netfilter可以在内核空间非常高效的进行包过滤,网络地址转换(NAT)和包重组

王以山的专栏 2000
上一篇: Sub-process usr/bin/dpkg returned an error code 1&&神经棒1.0环境搭建
下一篇: 关于回调函数
Parallel2333
博客等级 码龄10年 40粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值