我们看linux kernel中virtio驱动相关代码,会发现有很多相关文件。首先有virtio.c这种文件,其次还有virtio_pci.c,virtio_scsi.c等这些文件,还有virtio_net.c,virtio_blk.c,virtio_balloon.c等这些。那么这些文件是什么关系呢?其次里面很多还有各自probe函数,到底是如何调用的,例如以网络的virtio_net到底是从哪里开始初始化的?要理清这些关系需要以linux设备驱动模型为背景展开讨论。这篇文章,我们以linux kernel 3.10代码为例,分析一下virtio的相关组织关系,以及设备初始化调用流程。
总线及驱动的注册
linux设备驱动模型的核心有三个概念:设备(device),驱动(driver),总线(bus)。而如果我们把virtio的相关关系梳理清楚后,以网络virtio_net为例映射到设备驱动模型,就得到了下图。我们这个小节后面就以下图为背景展开。
图1
linux将virtio实现分离成两部分:和物理总线标准相关的(如pci,scsi等),和物理总线标准无关的。
图中左侧部分即和物理总线相关的实现,这里以pci为了,当然virtio也支持其他总线类型,如scsi。virtio-pci是virtio对应pci的驱动实现,所以virtio-pci是一个pci总线上的一个驱动。它通过如下方式注册到pci总线上去。
l virtio总线的注册
点击(此处)折叠或打开
/*virtio.c*/
static struct bus_type virtio_bus = {
.name = "virtio",
.match = virtio_dev_match,
.dev_attrs = virtio_dev_attrs,
.uevent = virtio_uevent,
.probe = virtio_dev_probe,
.remove = virtio_dev_remove,
};
static int virtio_init(void)
{
if (bus_register(&virtio_bus) != 0)
panic("virtio bus registration failed");
return 0;
}
core_initcall(virtio_init);
如代码所示,这个总线的名字叫”virtio”,通过bus_register就将virtio总线注册进系统,可以在sys文件系统中查看。
l<span style="font-size: 7pt; line-height: normal; overflow-wrap: break-word;" "=""> virtio-net驱动注册
最后我们看我们经常接触到设备驱动的初始化,我们以网络驱动virtio_net为例,其对应的驱动为virtio-net。其注册过程如下。
点击(此处)折叠或打开
/* virtio-net.c */
static struct virtio_device_id id_table[] = {
{ VIRTIO_ID_NET, VIRTIO_DEV_ANY_ID },
{ 0 },
};
static struct virtio_driver virtio_net_driver = {
.feature_table = features,
.feature_table_size = ARRAY_SIZE(features),
.driver.name = KBUILD_MODNAME,
.driver.owner = THIS_MODULE,
.id_table = id_table,
.probe = virtnet_probe,
.remove = virtnet_remove,
.config_changed = virtnet_config_changed,
#ifdef CONFIG_PM
.freeze = virtnet_freeze,
.restore = virtnet_restore,
#endif
};
module_virtio_driver(virtio_net_driver);
#define module_virtio_driver(__virtio_driver) \
module_driver(__virtio_driver, register_virtio_driver, \
unregister_virtio_driver)
int register_virtio_driver(struct virtio_driver *driver)
{
/* Catch this early. */
BUG_ON(driver->feature_table_size && !driver->feature_table);
driver->driver.bus = &virtio_bus;
return driver_register(&driver->driver);
}
最终通过register_virtio_driver函数将驱动的bus设置为之前注册的virtio总线,完成总线的注册。这样我们就能在sys文件系统对应virtio总线下的drivers目录看到这个驱动了。
所以我们再回头来看图1,可以看到virtio设备是横跨两类总线及驱动的。
virtio设备的初始化流程
梳理清楚virtio相关设备,总线及驱动关系后我们看下virtio设备的初始化过程,我们还是以网络virtio_net设备为例子。这个初始化过程如下图2中的黄色部分所示。
图2
首先是系统启动kernel初始化阶段,pci子系统调用pci_scan_device发现pci网卡设备,并初始化对应pci_dev结构,然后将去注册到pci总线上(dev->dev.bus=&pci_bus_type)。同时设置device的vendor_id为0x1AF4(virtio的pci vendor_id),device_id为1
然后当我们加载virtio-pci驱动时,当调用module_pci_driver(virtio_pci_driver)将virtio-pci驱动注册在pci总线上时,在linux设备驱动模型中,这会导致对pci总线设备链表上未被驱动绑定的每个设备调用pci总线的match回调函数,即pci_bus_match函数。原型如下:
static int pci_bus_match(struct device *dev, struct device_driver *drv)
pci_bus_match函数将linux设备驱动模型核心出入的device结构转换为pci_dev结构,将device_driver结构转换为pci_driver结构,之后调用pci_match_device函数判断pci设备结构是否有匹配的pci设备ID结构。如果有则判断设备的pci ID和驱动设置的id_table中是否一样,如果一样说明设备和驱动匹配(这里设备的vendor_id和virtio-pci的virtio_pci_id_table匹配),将struct device的driver指针指向驱动,然后调用pci总线的probe函数,即pci_deivce_probe函数。这个函数再次将struct device强制转换成struct pci_dev,将设置在设备中的driver结构强制转换为struct pci_derver。它再次校验这个驱动能否支持这个设备,递增设备的引用计数,然后调用pci驱动probe函数(即virtio-pci的probe函数virtio_pci_probe),传入它应该绑定到的struct pci_dev结构体指针。这就进入到了图2中黄色部分的函数调用链了。
在开始梳理virtio_net初始化调用链前我们先看其对应的结构struct virtio_pci_device,将其展开得到图3。
图3
我们看到virtio_pci_device可以分为两部分,一部分是和pci总线相关的设备对应struct pci_dev,另一部分是和virtio总线相关的设备对应struct virtio_device。
virtio_pci_probe函数主要负责完成pci_dev部分的初始化,已经virtio_device部分初始化,然后调用register_virtio_device函数。
register_virtio_device函数将virtio_device的设备总线设置为virtio总线,然后调用device_register将virtio_device对应的设备添加到virtio总线上。这个添加总线的动作,会触发virtio总线的match函数即virtio_dev_match调用,同样该函数会比较设备dev的pci id和驱动id (virtio net的devid为1),如果匹配则virtio bus的probe函数virtio_dev_probe将被调用。其中又会调用对应驱动的probe函数,即virtnet_probe。而virtnet_probe将会完成virtio net设备struct virtio_device剩余部分的初始化。
到此,virtio net的初始化流程就已经梳理清楚了。virtio net设备创建完成后也会分别出现在pci总线和virtio总线的drvices目录下。
最后附上virtio的其他类型设备id:
点击(此处)折叠或打开
#define VIRTIO_ID_NET 1 /* virtio net */
#define VIRTIO_ID_BLOCK 2 /* virtio block */
#define VIRTIO_ID_CONSOLE 3 /* virtio console */
#define VIRTIO_ID_RNG 4 /* virtio rng */
#define VIRTIO_ID_BALLOON 5 /* virtio balloon */
#define VIRTIO_ID_RPMSG 7 /* virtio remote processor messaging */
#define VIRTIO_ID_SCSI 8 /* virtio scsi */
#define VIRTIO_ID_9P 9 /* 9p virtio console */
#define VIRTIO_ID_RPROC_SERIAL 11 /* virtio remoteproc serial link */
#define VIRTIO_ID_CAIF 12 /* Virtio caif */