Linux PCI设备驱动代码必须扫描系统中所有的PCI总线,寻找系统中所有的PCI设备(包括PCI-PCI桥设备)。系统中的每条PCI总线都有个编号number,根PCI总线的编号为0。

一、总线链表

1、根总线链表( pci_root_buses )

  • 系统当前存在的所有根总线(因为可能存在不止一个Host/PCI桥,那么就可能存在多条根总线) 都通过其pci_bus结构体中的node成员链接成一个全局的根总线链表,其表头由struct list_head类型的全局变量pci_root_buses描述。

我们在/linux-2.4.18/linux/drivers/pci/pci.c的38行可以看到如下定义:LIST_HEAD(pci_root_buses);

2、子总线链表(children)

  • 根总线下面的所有下级总线则都通过其pci_bus结构体中的node成员链接到其父总线的children链表中。

这样,通过这两种PCI总线链表,Linux内核就将所有的pci_bus结构体以一种倒置树的方式组织起来。

二、PCI设备链表

每个PCI设备都由一个pci_dev结构体表示,每个pci_dev结构体都同时连入两个队列:

  • 一方面通过其成员global_list挂入一个总的pci_dev结构队列(队列头是pci_devices);
  • 另一方面又通过成员bus_list挂入其所在总线的pci_dev结构队列devices(队列头是pci_bus.devices,即该pci设备所在的pci总线的devices队列),并且使指针bus(指pci_dev结构体里的bus成员)指向代表着其所在总线的pci_bus结构。
  • 如果设备是PCI-PCI桥,则还要使其指针subordinate指向代表着另一条PCI总线的pci_bus结构。同样我们在/linux-2.4.18/linux/drivers/pci/pci.c的39行可以看到如下定义:LIST_HEAD(pci_devices);
对于PCI设备链表,我们可以对照在"PCI设备驱动(二)"中贴出的PCI系统结构示意图,具体理解Linux内核中对应的数据结构。
6217760-b79067bfb6b62970.jpg
图片发自简书App

三、PCI驱动程序初始化

1、深度优先算法构建设备树

Linux PCI初始化代码从PCI总线0开始扫描,它通过读取"Vendor ID"和"Device ID"来试图发现每一个插槽上的设备。

  • 如果发现了一个PCI-PCI桥,则创建一个pci_bus数据结构并且连入到由pci_root_buses指向的pci_bus和pci_dev数据结构组成的树中。PCI初始化代码通过设备类代码0x060400来判断一个PCI设备是否是PCI-PCI桥。

  • 然后Linux核心开始构造这个桥设备另一端的PCI总线和其上的设备。如果还发现了桥设备,就以同样的步骤来进行构建。
    这个处理过程称之为深度优先算法。

PCI-PCI桥横跨在两条总线之间,寄存器PCI_PRIMARY_BUS和PCI_SECONDARY_BUS的内容就说明了其上下两端的总线号:

  • PCI_SECONDARY_BUS就是该PCI-PCI桥所连接和控制的总线,
  • PCI_SUBORDINATE_BUS则说明自此以下、在以此为根的子树中最大的总线号是什么。
    我们可以在/linux-2.4.18/linux/include/linux/pci.h看到如下定义:
112:  /* Header type 1 (PCI-to-PCI bridges) */

113:  #define PCI_PRIMARY_BUS           0x18       /* Primary bus number */

114:  #define PCI_SECONDARY_BUS     0x19       /* Secondary bus number */

115:  #define PCI_SUBORDINATE_BUS  0x1a       /* Highest bus number behind the bridge */

2、内核对设备的寻址方式

  • 由于在枚举阶段做的是深度优先扫描,所以子树中的总线号总是连续递增的。当CPU往I/O寄存器0xCF8中写入一个综合地址以后,从0号总线开始,每个PCI-PCI桥会把综合地址中的总线号与自身的总线号相比,如果相符就用逻辑设备号在本总线上寻访目标设备;

  • 如果综合地址中的总线号与自己不相符,就进一步把这个总线号与PCI_SUBORDINATE_BUS中的内容相比,如果目标总线号落在当前子树范围中,就把综合地址传递给其下的各个次层PCI-PCI桥,要不然就不予理睬。
    这样,最终就会找到目标设备。

当然,这个过程只是在PCI设备的配置阶段需要这样做,一旦配置完成,CPU就直接通过有关的总线地址访问目标设备了。

3、PCI桥的窗口

PCI-PCI桥要想正确传递对PCI I/O,PCI Memory或PCI Configuration地址空间的读和写请求,必须知道下列信息:

  1. Primary Bus Number(主总线号)
    该PCI-PCI桥所处的PCI总线称为主总线。
  2. Secondary Bus Number(子总线号)
    该PCI-PCI桥所连接的PCI总线称为子总线/次总线号。
  3. Subordinate Bus Number
    PCI总线的下属PCI总线的总线编号最大值。

(1)什么是PCI桥窗口

PCI桥的配置寄存器与一般的PCI设备不同。

  • 一般PCI设备可以有6个地址区间,外加一个ROM区间,代表着设备上实际存在的存储器或寄存器区间。
  • PCI桥设备,本身并不一定有存储器或寄存器区间,但是却有三个用于地址过滤的区间。每个地址过滤区间决定了一个地址窗口,从CPU一侧发出的地址,如果落在PCI桥的某个窗口内,就可以穿过PCI桥而到达其所连接的总线上。

(2)PCI桥窗口的开关

  • PCI桥的命令寄存器中有”memory access enable”和”I/O access enable”的两个控制位,当这两个控制位为0时,这些窗口就全都关上了。

(3)PCI桥窗口的作用

在未完成对PCI总线的初始化之前,还没有为PCI设备上的各个区间分配合适的总线地址时,正是因为这两个控制位为0,才不会对CPU一侧造成干扰。

  • 对于PCI设备驱动(一)中的 PCI系统示意图 ,仅当读和写请求中的PCI I/O或PCI memory地址属于SCSI或Ethernet设备时,PCI-PCI桥才将这些总线上的请求从PCI总线0传递到PCI总线1。这种过滤机制可以避免地址在系统中没必要的繁衍。
  • 为了做到这点,每个PCI-PCI桥必须正确地被设置好它所负责的PCI I/O或PCI memory的起始地址和大小。当一个读或写请求地址落在其负责的范围之内,这个请求将被映射到次级的PCI总线上。系统中的PCI-PCI桥一旦设置完毕,如果Linux中的设备驱动程序存取的PCI I/O和PCI memory地址落在在这些窗口之内,那么这些PCI-PCI桥就是透明的。
  • 这是个很重要的特性,使得Linux PCI设备驱动程序开发者的工作容易些。

4、PCI桥的窗口的配置

问题:配置一个PCI-PCI桥的时候,并不知道这个PCI-PCI桥的subordinate bus number。那么就不知道该PCI桥下面是否还有其他的PCI-PCI桥。即使你知道,也不清楚如何对它们赋值。

方法:利用上述的深度扫描算法来扫描每个总线。每当发现PCI-PCI桥就对它进行赋值。当发现一个PCI-PCI桥时,可以确定它的secondary bus number。然后我们暂时先将其subordinate bus number赋值为0xFF。紧接着,开始扫描该PCI-PCI桥的downstream桥。

过程:这个过程看起来有点复杂,下面的例子将给出清晰的解释:

(1)第一步

以下图的拓扑结构为例:

  • 扫描时首先发现的桥是Bridge1。Bridge 1的downstream PCI总线号码被赋值1。自然该桥的secondary bus number也是1。其subordinate bus number暂时赋值为0xFF。上述赋值的含义是所有类型1的含有PCI总线1或更高(<255)的号码的PCI配置地址将被Bridge 1传递到PCI总线1上。
  • 如果PCI总线号是1,Bridge 1 还负责将配置地址的类型转换成类型0(对于这里说的类型0和类型1,请参考PCI设备驱动(一))。否则,就不做转换。上述动作就是开始扫描总线1时Linux PCI初始化代码所完成的对总线0的配置工作。
    6217760-e2ff36fdcdc31b1b.jpg
    配置PCI系统 第一步

(2)第二步

  • 由于Linux PCI设备驱动使用深度优先算法进行扫描,所以初始化代码开始扫描总线1。从而Bridge 2被发现。
  • 因为在Bridge 2下面发现不再有PCI-PCI桥,所以Bridge 2的subordinate bus number是2,等于它的secondary bus number。下图显示了在这个时刻总线和PCI-PCI桥的赋值情况。
    6217760-4a5e71b3738a1aad.jpg
    配置PCI系统 第二步

(3)第三步

  • Linux PCI设备驱动代码从总线2的扫描中回来接着进行扫描总线1,发现Bridge 3。
  • 它的primary bus number被赋值为1,secondary bus number为3。因为总线3上还发现了PCI-PCI桥,所以Bridge 3的subordinate bus number暂时赋值0xFF。
  • 下图显示了这个时刻系统配置的状态。到目前为止,含有总线号1,2,3的类型1的PCI配置都可以正确地传送到相应的总线上。
    6217760-795fa45de6e13be8.jpg
    配置PCI系统 第三步

(4)第四步

  • 现在Linux开始扫描PCI总线3,Bridge 3的downstream。PCI总线3上有另外一个PCI-PCI桥,Bridge 4。因此Bridge 4的primary bus number的值为3,secondary bus number为4。
  • 由于Bridge 4下面没有别的桥设备,所以Bridge 4的subordinate bus number为4。
  • 然后回到PCI-PCI Bridge 3。这时就将Bridge 3的subordinate bus number从0xFF改为4,表示总线4是从Bridge 3往下走的最远的PCI-PCI桥。
  • 最后,Linux PCI设备驱动代码将4以同样的道理赋值给Bridge 1的subordinate bus number。下图反映了系统最后的状态。
    6217760-2cf78ffb0d07e8a0.jpg
    配置PCI系统 第四步