zqixiao_09-优快云博客

原创 Python学习前传 —— Python网络爬虫

原来一直是Linux C 开发，现在开始学习另一门面向过程的语言 —— Python。学习一门语言，重要的在于思想，现在就以Linux C 开发者的角度来学习Python。我们先不讲Python基础，我们直接来看一段网络爬虫代码，看一下Python语言的特点。那么什么是网络爬虫呢？网络爬虫，又称为网络蜘蛛（WebSpider），非常形象的一个名字。如果你把整个互联网想象成类似于...

2018-03-11 23:14:14 5660 9

转载 Linux DBUS总线

D-Bus三层架构D-Bus是一个为应用程序间通信的消息总线系统, 用于进程之间的通信。它是个3层架构的IPC 系统，包括：1、函数库libdbus ，用于两个应用程序互相联系和交互消息。2、一个基于libdbus构造的消息总线守护进程，可同时与多个应用程序相连，并能把来自一个应用程序的消息路由到0或者多个其他程序。3、基于特定应用程序框架的封装库或捆绑（wrapp

2018-03-11 20:48:23 13897

原创语音业务VOIP开发之SIP协议篇（三） —— SIP报文解析

下面深入了解SIP报文： SIP是基于一个类似HTTP协议的请求应答的通讯模式。每一个通讯都包含对某个功能的请求，并且起码需要一个应答。在这个应答中，Alice的软电话发送一个含有Bbo的SIP URI抵制的INVITE通讯请求。INVITE是一个SIP请求的例子，表示请求方（Alice）希望服务方（Bob）应答。INVTE请求包含一系列的包头域（Header fields）。包头中包

2018-03-11 20:45:43 13901 2

原创语音业务VOIP开发之SIP协议篇（二） —— SIP报文浅析

一、SIP消息 SIP消息是SIP客户终端和服务器之间通信的的基本信息单元。SIP消息基于文本，采用UTF-8编码（RFC 2279）中的ISO 10646字符集。SIP协议借鉴了HTTP协议（RFC 2068）的设计思想，有很多消息格式与之相同。SIP协议支持UDP传输协议 SIP消息消息分两类：请求消息和响应消息请求消息（Request）：客户端

2018-03-11 20:22:51 18391 1

原创语音业务VOIP开发之SIP协议篇（一） —— SIP基本场景分析

一、SIP业务基本知识1、业务介绍会话初始协议（Session Initiation Protocol）是一种信令协议，用于初始、管理和终止网络中的语音和视频会话，具体地说就是用来生成、修改和终结一个或多个参与者之间的会话。SIP的业务模式是一个点对点协议，其中有两个要素——SIP用户代理和SIP网络服务器。用户代理（UA）是呼叫的终端系统元素，而SIP服务器是处理与

2018-03-11 20:10:44 41212 2

原创 Linux 网络协议栈开发基础篇（十三）——TCP/IP协议各报文头格式

一、TCP报文 TCP是TCP/IP体系中面向连接的运输层协议，提供全双工的和可靠交付的服务。TCP报文段的格式如下图所示源端口和目的端口：各占2个字节，是运输层与应用层的服务接口。序号：占4个字节。TCP连接传送的数据流中的每一个字节都被编上一个序号。首部中序号字段的值指的是本报文段所发送的数据的第一个字节的序号。确认号：占4个字节，是

2018-02-07 23:14:27 4419

原创 Linux 网络协议栈开发基础篇（十二）—— 使用wireshark分析TCP/IP协议中TCP包头的格式

摘要：本文简单介绍了TCP面向连接理论知识，详细讲述了TCP报文各个字段含义，并从Wireshark俘获分组中选取TCP连接建立相关报文段进行分析。一、概述TCP是面向连接的可靠传输协议，两个进程互发数据之前需要建立连接，这里的连接只不过是端系统中分配的一些缓存和状态变量，中间的分组交换机不维护任何连接状态信息。连接建立整个过程如下(即三次握手协议)：首先，客户

2018-02-07 22:38:37 1305

原创 Linux 网络协议栈之内核锁（九）—— RCU锁机制

一、引言众所周知，为了保护共享数据,需要一些同步机制,如自旋锁(spinlock)，读写锁(rwlock)，它们使用起来非常简单,而且是一种很有效的同步机制，在UNIX系统和Linux系统中得到了广泛的使用。但是随着计算机硬件的快速发展，获得这种锁的开销相对于CPU的速度在成倍地增加，原因很简单，CPU的速度与访问内存的速度差距越来越大，而这种锁使用了原子操作指令，它需要原子地访问内存，

2018-02-07 22:34:16 2330 1

RCU的设计思想比较明确，通过新老指针替换的方式来实现免锁方式的共享保护。但是具体到代码的层面，理解起来多少还是会有些困难。在《深入Linux设备驱动程序内核机制》第4章中，已经非常明确地叙述了RCU背后所遵循的规则，这些规则是从一个比较高的视角来看，因为我觉得过多的代码分析反而容易让读者在细节上迷失方向。最近拿到书后，我又重头仔细看了RCU部分的文字，觉得还应该补充一点点内容，因为有些东西不一定

2018-02-05 23:18:39 1098

原创 Linux 网络协议栈之内核锁（七）—— 读写自旋锁

读写自旋锁（rwlock）是一种比自旋锁粒度更小的自旋锁机制，它保留了“自旋”的概念。但是在写操作方面，只能最多有一个写进程，在读方面，同时可拥有多个执行单元，当然读和写也不能同时进行。一句话：防写不防读读写自旋锁的实现原理，它其实是自旋锁的升级版。同样，我们先看看它能实现的功能：针对写：最多只有一个写进程；针对读：可以同时有多个读写单元。但读和写不能同时进行。它于in

2018-02-05 23:14:29 1316

原创 Linux 网络协议栈之内核锁（六）—— 互斥锁、读写锁、自旋锁和RCU锁简述

互斥锁 mutex：在访问共享资源之前对进行加锁操作，在访问完成之后进行解锁操作。加锁后，任何其他试图再次加锁的线程会被阻塞，直到当前进程解锁。如果解锁时有一个以上的线程阻塞，那么所有该锁上的线程都被编程就绪状态，第一个变为就绪状态的线程又执行加锁操作，那么其他的线程又会进入等待。在这种方式下，只有一个线程能够访问被互斥锁保护的资源。读写锁 rwlock（也

2018-02-05 23:09:29 1114

原创 Linux 网络协议栈之内核锁（五）—— 自旋锁在抢占(非抢占)单核和多核中的作用

一、自旋锁的实现linux上的自旋锁有三种实现：1. 在单cpu，不可抢占内核中，自旋锁为空操作。2. 在单cpu，可抢占内核中，自旋锁实现为“禁止内核抢占”，并不实现“自旋”。3. 在多cpu，可抢占内核中，自旋锁实现为“禁止内核抢占” + “自旋”。关于抢占式内核与非抢占式内核：a、非抢占式内核如果一个进程在内核态运行，其只有在以下两种情况会被切换：1.

2018-02-05 23:00:56 2841

原创 Linux 网络协议栈之内核锁（四）—— 进程上下文与中断上下文的理解

一.什么是内核态和用户态内核态：在内核空间执行，通常是驱动程序，中断相关程序，内核调度程序，内存管理及其操作程序。用户态：用户程序运行空间。二.什么是进程上下文与中断上下文1.进程上下文：（1）进程上文：其是指进程由用户态切换到内核态是需要保存用户态时cpu寄存器中的值，进程状态以及堆栈上的内容，即保存当前进程的进程上下文，以便再次执行该进程时，能够

2018-02-05 23:00:29 1448

原创 Linux 网络协议栈之内核锁（三）—— Linux内核抢占和进程调度总结

1 用户抢占内核即将返回用户空间的时候，如果need resched标志被设置，会导致schedule()被调用，此时就会发生用户抢占。在内核返回用户空间的时候，它知道自己是安全的。所以，内核无论是在从中断处理程序还是在系统调用后返回，都会检查need resched标志。如果它被设置了，那么，内核会选择一个其他(更合适的)进程投入运行。简而言之，用户抢占在以下情况时产生：1) 从

2018-02-05 22:40:19 1115

原创 Linux 网络协议栈之内核锁（二）—— 内核抢占

一、内核抢占早期的Linux核心是不可抢占的。它的调度方法是：一个进程可以通过schedule()函数自愿地启动一次调度。非自愿的强制性调度只能发生在每次从系统调用返回的前夕以及每次从中断或异常处理返回到用户空间的前夕。但是，如果在系统空间发生中断或异常是不会引起调度的。这种方式使内核实现得以简化。但常存在下面两个问题：1、如果这样的中断发生在内核中,本次中断返回是不会引起调度的,

2018-02-05 22:36:00 1128

原创 Linux 网络协议栈之内核锁（一）—— 进程调度

学习内核锁之前，我们先了解一下关于内核的基础知识，以便更好的学习内核锁的使用！下面我们先学习一下进程调度：一、进程调度调度什么时候发生？即：schedule()函数什么时候被调用？调度的发生有两种方式：1、主动式在内核中直接调用schedule()。当进程需要等待资源等而暂时停止运行时，会把状态置于挂起（睡眠），并主动请求调度，让出CPU。主动放

2018-02-05 22:11:13 1638

原创 Linux 网络协议栈开发代码分析篇之数据收发（二） —— dev_queue_xmit()函数

当所有的信息都准备好了之后，例如，出口设备，下一跳的地址，以及链路层地址。就会调用dev.c文件中的dev_queue_xmin函数，该函数是设备驱动程序执行传输的接口。也就是所有的数据包在填充完成后，最终发送数据时，都会调用该函数。 Dev_queue_xmit函数只接收一个skb_buff结构作为输入的值。此数据结构包含了此函数所需要的一切信息。Skb->dev是出口设备，skb-

2018-01-28 12:37:48 4704

原创 Linux 网络协议栈开发代码分析篇之数据收发（一） —— netif_receive_skb()函数

提到网络协议栈，数据的收发是核心，我们先来看下数据的接收函数 netif_receive_skb() 先统一介绍下数据收发对于linux内核来说，网络报文由网络设备来进行接收。设备驱动程序从网络设备中读取报文，通过内核提供的网络接口函数，将报文传递到内核中的网络协议栈。报文经过协议栈的处理，或转发、或丢弃、或被传送给某个进程。

2018-01-28 12:19:37 11195 1

转载 Linux 网络协议栈开发代码分析篇之VLAN（三）—— VLAN收发处理

转自：http://blog.chinaunix.net/uid/28541347/year-201606-list-1.htmlVLAN报文格式基于802.1Q的VLAN帧格式如下：Type：长度为2字节，取值为0x8100，表示此帧的类型为802.1Q Tag帧。PRI：长度为3比特，可取0～7之间的值，表示帧的优先级，值越大优

2018-01-28 11:30:49 10162

原创 Linux 网络协议栈开发代码分析篇之VLAN（二）—— Linux下VLAN功能的实现概述

1.Linux网络栈下两层实现1.1简介 VLAN是网络栈的一个附加功能，且位于下两层。首先来学习Linux中网络栈下两层的实现，再去看如何把VLAN这个功能附加上去。下两层涉及到具体的硬件设备，日趋完善的Linux内核已经做到了很好的代码隔离，对网络设备驱动也是如此，如下图所示：这里要注意的是，Linux下的网络设备net_dev并不

2018-01-28 11:26:30 2190

原创 Linux 网络协议栈开发代码分析篇之VLAN（一）—— vlan 功能模块分析

整理自：http://blog.youkuaiyun.com/lickylin/article/details/41832967本文代码基于linux3.14 Vlan即虚拟局域网，一个vlan能够模拟一个常规的交换网络，实现了将一个物理的交换机划分成多个逻辑的交换网络。而不同的vlan之间如果要进行通信就要通过三层协议来实现。在linux中vlan的配置使用vconfig

2018-01-28 11:22:31 5562

原创 Linux 网络协议栈开发基础篇（十一）—— 组播IGMP Snooping理论知识详解

IGMP Snooping配置在二层组播设备上，通过对上游三层设备和下游用户之间的IGMP报文进行分析，建立和维护二层组播转发表，实现组播数据报文在数据链路层的按需分发。IGMP Snooping (Internet Group Management Protocol Snooping)是一种IPv4二层组播协议，通过侦听三层组播设备和用户主机之间发送的组播协议报文来维护组播报文的出接口信息，

2018-01-27 19:51:34 3232

原创 Linux 网络协议栈开发基础篇（十）—— 组播（Multicast）基础

一、组播（Multicast）传输在发送者和每一接收者之间实现点对多点网络连接。如果一台发送者同时给多个的接收者传输相同的数据，也只需复制一份的相同数据包。它提高了数据传送效率。减少了骨干网络出现拥塞的可能性。单播(unicast): 是指封包在计算机网络的传输中，目的地址为单一目标的一种传输方式。它是现今网络应用最为广泛，通常所使用的网络协议或服务大多采用

2018-01-27 19:49:28 5260

原创 Linux 网络协议栈开发基础篇（九）—— VID与PVID

一、PVID的作用及和VID的区别 PVID和VID经常出现于二、三层交换机里，由于PVID和VID的设置不合理，造成VLAN划分变得混乱。 PVID是交换机上的概念，说的是进入该端口的报文如果没有打vlan id就按PVID的值打上，VID是报文上的vlan tag的意思。1、什么是PVID PVID英文解释为Port-base VLAN ID

2018-01-27 15:41:19 4174

原创 Linux 网络协议栈开发基础篇（八）—— VLAN原理概述

一、vlan的含义局域网LAN的发展是VLAN产生的基础，因而先介绍一下局域网LAN 由Hub、网桥或交换机等网络设备连接同一网段内的所有节点形成局域网（LAN），通常是一个单独的广播域。处于同一个局域网LAN之内的网络节点之间可以直接通信，处于不同局域网段的设备之间的通信则必须经过路由器才能通信。上述传统拓扑结构的关键在于用三层设备，即路由器，

2018-01-27 14:54:01 1586

原创 Linux 网络协议栈开发基础篇（七）—— 网桥br0

一、桥接的概念简单来说，桥接就是把一台机器上的若干个网络接口“连接”起来。其结果是，其中一个网口收到的报文会被复制给其他网口并发送出去。以使得网口之间的报文能够互相转发。交换机就是这样一个设备，它有若干个网口，并且这些网口是桥接起来的。于是，与交换机相连的若干主机就能够通过交换机的报文转发而互相通信。如下图：主机A发送的报文被送到交换机S1的eth0口，

2018-01-27 14:19:03 4118

原创 Linux 网络协议栈开发基础篇（六）—— NAT原理介绍

介绍NAT之前，我们需要先理解下公有地址及私有地址的概念： IP地址分为两部分，网络号和主机号，这种分法应用在私有和公有IP地址上。一个局域网中，为了该局域网的安全，我们应用了私有IP地址，为了和Internet中的其他主机进行通信，我们用的私有IP地址必须为：　A级：10.0.0.0 - 10.255.255.255 B级：172.16.0.0 - 172.31.255.2

2018-01-25 21:51:27 2295 1

原创 Linux 网络协议栈开发基础篇（五）—— 数据链路层协议PPP

PPP协议PPP协议是二层（数据链路层）协议，常用于拨号上网时客户端向服务器获取IP地址。PPP支持在各种物理类型的点对点串行线路上传输上层协议报文。它具有很多特性，比如支持多协议、提供可选的身份认证服务、以各种方式压缩数据、支持动态地址协商、支持多链路捆绑等等。PPP协议帧格式PPP数据帧格式如下所示：7EFF03

2018-01-25 21:24:39 1053

原创 Linux 网络协议栈开发基础篇（四）—— IP协议补充协议ARP

1.学习ARP前要了解的内容建立TCP连接与ARP的关系应用接受用户提交的数据，触发TCP建立连接，TCP的第一个SYN报文通过connect函数到达IP层，IP层通过查询路由表：　　如果目的IP和自己在同一个网段：　　当IP层的ARP高速缓存表中存在目的IP对应的MAC地址时，则调用网络接口send函数（参数为IP Packet和目的MAC））将数据提交给网络接口

2018-01-25 21:21:42 971

原创 Linux 网络协议栈开发基础篇（三）—— TCP对比UDP

TCP与UDP基本区别 1.基于连接与无连接 2.TCP要求系统资源较多，UDP较少； 3.UDP程序结构较简单 4.流模式（TCP）与数据报模式(UDP); 5.TCP保证数据正确性，UDP可能丢包 6.TCP保证数据顺序，UDP不保证　　UDP应用场景： 1.面向数据报方式 2.网络数据大多为短消息 3.拥有大量Clie

2018-01-25 21:10:38 800

原创 Linux 网络协议栈开发基础篇（二）—— TCP协议浅析

一、TCP 协议的作用互联网由一整套协议构成。TCP 只是其中的一层，有着自己的分工。（图片说明：TCP 是以太网协议和 IP 协议的上层协议，也是应用层协议的下层协议。）最底层的以太网协议（Ethernet）规定了电子信号如何组成数据包（packet），解决了子网内部的点对点通信。（图片说明：以太网协议解决了局域网的点对点通信。）但是，以太

2018-01-25 21:02:52 970

原创 Linux 网络协议栈开发基础篇（一）—— TCP/IP协议报文格式解析

一、传输层报文1、TCP数据包的头typedef struct _TCP_HEADER { USHORT nSourPort ; // 源端口号16bit USHORT nDestPort ; // 目的端口号16bit UINT nSequNum ; // 序列号32bit UINT nAcknowledgeNum ; // 确认号32bi

2018-01-25 20:57:31 4990 1

原创 Linux 网络协议栈开发番外篇（八）—— 策略路由

一、linux系统中路由表table linux最多可以支持255张路由表，每张路由表有一个table id和table name。其中有4张表是linux系统内置的：1）table id = 0 系统保留。2）table id = 255 本地路由表，表名为local。像本地接口地址，广播地址，以及NAT地址都放在这个表。该路由表由系统自动维护，管理

2018-01-25 20:35:31 1181

原创 Linux 网络协议栈开发番外篇（七）—— Linux下路由配置

先说一些关于路由的基础知识：1）路由概念路由：跨越从源主机到目标主机的一个互联网络来转发数据包的过程路由器：能够将数据包转发到正确的目的地，并在转发过程中选择最佳路径的设备路由表：在路由器中维护的路由条目，路由器根据路由表做路径选择直连路由：当在路由器上配置了接口的IP地址，并且接口状态为up的时候，路由表中就出现直连路由项静态路由：是由管理员手工配置的，是单向的。

2018-01-25 19:54:06 1358

原创 Linux 网络协议栈开发番外篇（六）—— Windows路由表详解

一、查看Windows路由表　　路由表是Windows的TCP/IP协议栈的一个重要的部分。但是，路由表不是Windows操作系统向普通用户显示的东西。如果你要看到这个路由表，你必须要打开一个命令提示符对话框，然后输入“ROUTE PRINT”命令。结果如下：路由详解：第一条 0.0.0.0 0.0.0.0 192.168.1

2018-01-25 19:47:19 557

原创 Linux 网络协议栈开发番外篇（五）—— Linux路由表详解

linux 路由表维护查看 Linux 内核路由表使用下面的 route 命令可以查看 Linux 内核路由表。# routeDestination Gateway Genmask Flags Metric Ref Use Iface192.168.0.0 * 255.2

2018-01-25 18:48:30 1063

原创 Linux 网络协议栈开发番外篇（四）—— Wireshark-ICMP数据报分析

ICMP是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。　　ICMP协议通过IP协议发送的，IP协议是一种无连接的，不可靠的数据包协议，属于网络层协议。　　ICMP报文是在ＩＰ数据报内被传输的。在实际传输中的数据包结构：20字节IP首部 + 8字节ICMP首部+ 1472字节38字节。

2018-01-24 23:17:42 661

原创 Linux 网络协议栈开发番外篇（三）—— ping命令执行过程详解

先看拓朴图：在这里讲ping的两情况：一种是同一网段内，一种是跨网段的ping。一、同一网段内首先，如果主机A，要去ping主机B，那么主机A，就要封装二层报文，他会先查自己的MAC地址表，如果没有B的MAC地址，就会向外发送一个ARP广播包，如图:

2018-01-24 21:37:01 1486

原创 Linux 网络协议栈开发番外篇（二）—— list_head 学习

在Linux内核中，提供了一个用来创建双向循环链表的结构 list_head。虽然linux内核是用C语言写的，但是list_head的引入，使得内核数据结构也可以拥有面向对象的特性，通过使用操作list_head 的通用接口很容易实现代码的重用，有点类似于C++的继承机制（希望有机会写篇文章研究一下C语言的面向对象机制）。下面就是kernel中的list_head结构定义：struct li

2018-01-18 22:28:07 738

转载 Linux 网络协议栈开发番外篇（一）—— hlist 详解

http://blog.youkuaiyun.com/hs794502825/article/details/24597773在Linux内核中，hlist（哈希链表）使用非常广泛。本文将对其数据结构和核心函数进行分析。和hlist相关的数据结构有两个：hlist_head 和 hlist_node[cpp] view plain copy

2018-01-16 21:44:25 767

98DX3336芯片手册

vim配置（程序自动补全）

空空如也