inet socket 与 packet socket

Published at 2018-11-16 | Last Update 2018-11-16

details

调试过网络程序的人大多使用过tcpdump，但你知道tcpdump是如何工作的吗？ tcpdump这类工具也被称为Sniffer，它可以在不影响应用程序正常报文的情况下，将流经网卡的报文呈现给用户。

本文不分析tcpdump的具体实现，而只是借tcpdump来揭示一些网络编程中一个大多数人都容易忽略的一个主题：Socket参数对用户接收报文的影响

相信所有接触过Socket编程的人都应该认识下面这个API

#include <sys/socket.h>
sockfd = socket(int socket_family, int socket_type, int protocol);

没错，它基本是socket编程的第一步，创建一个套接字。他有三个参数，不过又有多少人真的去了解这些参数的意义呢？对于TCP或者UDP应用的开发者来说，他们可以很容易地从互联网上找(抄)到这样的例子：

/* 创建TCP socket*/
sockfd = socket(AF_INET, SOCK_STREAM, 0);

/* 创建UDP socket*/
sockfd = socket(AF_INET, SOCK_DGRAM, 0)

**为什么第一个参数要使用AF_INET,为什么第二个参数要使用SOCK_STREAM或者SOCK_DGRAM，为什么第三个参数要填0 ? **

socket_family

第一个参数表示创建的socket所属的地址簇或者协议簇，取值以AF或者PF开头定义在(include\linux\socket.h)，实际使用中并没有区别(有两个不同的名字只是因为是历史上的设计原因)。最常用的取值有AF_INET,AF_PACKET,AF_UNIX等。AF_UNIX用于主机内部进程间通信，本文暂且不谈。AF_INET与AF_PACKET的区别在于使用前者只能看到IP层以上的东西，而后者可以看到链路层的信息。

什么意思呢？为了说明这个问题，我们需要知道网络报文的分类。如下图所示：Ethernet II帧是应用最为广泛的帧类型(当然也有像PPP这样的其他链路帧类型)。Ethernet II帧内部，又可大致分为IP报文和其他报文。我们熟悉的TCP或者UDP报文都属于IP报文。

packet_class

AF_INET是与IP报文对应的，而AF_PACKET则是与Ethernet II报文对应的。AF_INET创建的套接字称为inet socket，而AF_PACKET创建的套接字称为packet socket

packet_create

socket_type & protocol

第一个参数family会影响第二个参数socket_type和第三个参数protocol取值范围

第二个参数socket_type表示套接字类型。它的取值不多，常见的就以下三种

enum sock_type {
	SOCK_STREAM	= 1,     /* stream (connection) socket  */
	SOCK_DGRAM	= 2,     /* datagram (conn.less) socket */
	SOCK_RAW	= 3,     /* raw socket                  */
};

第三个参数protocol表示套接字上报文的协议。

对于AF_INET地址簇，protocol的取值范围是如 IPPROTO_TCP IPPROTO_UDP IPPROTO_ICMP 这样的IP报文协议类型，或者IPPROTO_IP = 0 这个特殊值对于AF_PACKET地址簇，protocol的取值范围是 ETH_P_IP ETH_P_ARP这样的以太帧协议类型。

inet socket的协议开关表

每一个inet socket只能收发一种IP协议类型的报文，这是在套接字创建的时候就决定的(protocol参数)，比如TCP套接字是不能收发UDP报文的，反之也是一样。并且，protocol的值还受到socket_type的限制，不匹配的取值会导致套接字创建操作会返回失败。

/* 错误取值，返回失败 */
sockfd = socket(AF_INET, SOCK_DGRAM, IPPROTO_TCP);

内核通过协议开关表记录了哪些哪些取值是有效的，inet在初始化时会将支持的协议注册在协议开关表中的以socket_type为KEY的链表上：

inetsw

而在创建套接字时，inet_create会在协议开关表中根据socket_type和protocol进行匹配

list_for_each_entry_rcu(answer, &inetsw[sock->type], list) {
		err = 0;
		/* Check the non-wild match. */
		if (protocol == answer->protocol) {
			if (protocol != IPPROTO_IP)
				break;
		} else {
			/* Check for the two wild cases. */
			if (IPPROTO_IP == protocol) {
				protocol = answer->protocol;
				break;
			}
			if (IPPROTO_IP == answer->protocol)
				break;
		}
		err = -EPROTONOSUPPORT;
	}

IPPROTO_IP的值为0, 在用户使用0作为创建套接字的第三个参数时，会匹配到该链表上的第一个协议，这正是创建TCP或者UDP套接字时，第三个参数可以为0的原因, 0表示由内核自动选择。··

/* 创建TCP socket*/
sockfd = socket(AF_INET, SOCK_STREAM, 0);

/* 创建UDP socket*/
sockfd = socket(AF_INET, SOCK_DGRAM, 0)

raw inet socket

对于inet socket来说，一个TCP报文可以这样分解：

packet = IP Header + TCP Header +  Payload

如果我们是使用SOCK_STREAM创建的TCP套接字，应用程序在通过send发送数据时，只需要提供Payload就行了，而IP Header和TCP Header则由内核组装完成。接收方向，应用程序通过recv也只能收到payload

而RAW套接字则为应用提供了更底层的控制能力

int s = socket (AF_INET, SOCK_RAW, IPPROTO_TCP);

使用上面的接口可以创建一个更原始的TCP套接字，当我们使用这个套接字发送数据时，需要提供Payload和TCP Header，而IP Header依然由内核协议栈自动组装。

如果希望手动组装IP Header，有两个方法：

第一种是protocol使用IPPROTO_RAW

int s = socket (AF_INET, SOCK_RAW, IPPROTO_RAW);

第二种是置位IP_HDRINCL的套接字选项。

int s = socket (AF_INET, SOCK_RAW, IPPROTO_TCP);

int one = 1;
const int *val = &amp;one;
if (setsockopt (s, IPPROTO_IP, IP_HDRINCL, val, sizeof (one)) &lt; 0)
{
	printf (&quot;Error setting IP_HDRINCL. Error number : %d . Error message : %s \n&quot; , errno , strerror(errno));
	exit(0);
}

以上两种方法都是告诉内核，IP Header也由应用程序自己提供。

packet socket

inet socket的控制范围是IP报文，而packet socket的控制范围扩大到了以太层报文。

对于inet socket, 第二个参数socket_type只能选择SOCK_DGRAM、SOCK_RAW或者SOCK_PACKET, protocol则表示支持的网络层的协议类型。

Protocol Handler

对以太帧来说，不同的网络层协议类型(比如IP ARP PPPoE)有不同的接收处理函数。在内核中，这就是Protocol Handler。

内核中的Protocl Handler是这样组织的^注：

protocol handler

^注该patch将Protocl Handler在dev下增加了ptype_all链表和ptype_base链表

无论网卡是否采用NAPI，内核最终都会调用到__netfi_receive_skb接收报文，这个函数会遍历ptype_all链表上已注册的handler，然后再遍历ptype_base特定协议链上的所有已注册的handler

handler的注册是通过dev_add_pack完成的,如果没有指定协议(ETH_P_ALL)，该handler就会注册在ptype_all上(tcpdump默认就会注册在这里)，否则根据协议注册在ptype_base的某条链表上。

在报文接收过程中，同一个skb会被deliver_skb到多个handler(至少将ptype_all链表上的handler走一遍)。

内核启动时，inet会注册一个handler，它支持IP协议，所有AF_INET套接字实际上是共用这样一个handler，对应的接收函数是ip_rcv，区分是哪一个套接字的报文是之后的工作。

/* net/ipv4/af_inet.c */
static struct packet_type ip_packet_type __read_mostly = {
	.type = cpu_to_be16(ETH_P_IP),
	.func = ip_rcv,
};

static int __init inet_init(void)
{
    // code omitted
    dev_add_pack(&ip_packet_type);
    // code omitted
}

而对于AF_PACKET，handler是在packet_create中单独注册的，也就是说，每个AF_PACKET套接字拥有独立的handler

static int packet_create(struct net *net, struct socket *sock, int protocol,
			 int kern)
{
    // code omitted
    po->prot_hook.func = packet_rcv;   
    // code omitted
    register_prot_hook(sk);  // 这里面去 dev_add_pack
}

单独的handler，使得在接收函数packet_rcv的时候，就已经可以知道这是属于哪一个套接字的数据了。

raw packet socket

对于AF_PACKET来说，一个报文可以这样分解：

packet = Ethernet Header + Payload

而SOCK_DGRAM和SOCK_RAW的区别就在于，在接收方向，使用SOCK_DGRAM套接字的应用程序收到的报文已经去除了Ethernet Header，而SOCK_RAW套接字则会保留。

packet socket 与 tcpdump

回到本文最初的问题，tcpdump是如何完成嗅探工作的呢？没错！它正是使用的packet socket：

tcpdump作为Sniffer，它不能影响正常的报文收发，因此它需要单独的protocol handler，这样内核接收的报文会复制一份后，交给tcpdump
tcpdump不止能抓取IP报文, 它还可以抓起链路层信息或者其他一些非IP报文。

REF

difference-between-pf-inet-sockets-and-pf-packet data-link-access-and-zero-copy raw-socket-in-linux raw-sockets-c-code-linux

« Open-vSwitch Inside(1)--vswitchd OpenFlow协议原理简介 »

Switch-Router