@@ -1,127 +1,64 @@
# Phase 0 · Day 1: PCIe 总线拓扑与 Config Space
# Phase 0 · Day 0 1: PCIe 总线拓扑与 Config Space
---
> 2026-09-09(主线 Day 1 · 重启后) | 讲义: `Day01-lecture.md` | 融合锚点: uNOS M0 + X540-T2
## 一、BDF 地址：每个设备的唯一身份
## 一、核心图景:软件怎么碰到硬件
DPDK/uNOS 的第一行代码 `rte_eal_init()` 返回之前要完成:扫 PCIe 树 → 按 Vendor/Device ID 认出 X540 → 读 Config Space 拿 BAR → 映射成用户态可写地址(MMIO)→ 之后 PMD 写寄存器 = 收发包。**PCIe 就是"软件碰到硬件"的那条路**,也是 P4 手写驱动的同一块知识。
## 二、拓扑:一条树,三个角色
```
```
0000 : 02 : 01 . 0
CPU(Root Complex) → Root Port(桥, 引出新总线) → X540(Endpoint)
│ │ │ └── Function (0~7) — 一个物理芯片可以有多个功能
│ │ └────── Device (0~31) — 同一总线上最多 32 个设备
│ └─────────── Bus (0~255) — 256 条总线
└───────────────── Domain (0~65535) — 多 CPU socket 系统有多个 domain
单 CPU 系统 domain=0000。多路服务器每个 socket 一个 domain。
```
```
DPDK 通过 BDF 地址接管网卡：`dpdk-devbind.py -b vfio-pci 02:01.0`
- Root Complex = CPU 访问 PCIe 的唯一入口;Bridge 扩展总线;Endpoint = 设备本身
- 类比: 机框/板卡/端口 三级编号 = Bus/Device/Function
### 为什么需要三级？
## 三、BDF:设备的身份证
PCI 是树形拓扑。每个 Bridge 引入一条新 bus。256 条 bus × ×
| 字段 | 位数/范围 | 含义 |
## 二、拓扑中的四种角色
| 角色 | 你的实例 | 职责 |
|------|---------|------|
| **Root Complex ** | `00:00.0` | CPU 和 PCIe 世界的桥梁，把 load/store 翻译成 TLP |
| **PCI Bridge ** | `00:11.0` → Bus 02 | 传统 PCI 桥，用 subtractive decode 转发未认领的访问 |
| **PCIe Root Port ** | `00:15.0` → Bus 03 | PCIe 原生桥，点对点链路，支持更高带宽 |
| **Endpoint ** | `02:01.0` `03:00.0` | 叶子节点，实际的网卡设备 |
关键差异：`02:01.0` (e1000) 是挂在传统 PCI Bridge 后面的老式设备，多条设备共享 Bus 02。`03:00.0` (VMXNET3) 是 PCIe Endpoint，独享 Bus 03 的整条链路（5GT/s ×
## 二、PCIe 拓扑
```
[0000:00] ← Root Complex (Host Bridge)
│ CPU 访问 PCIe 设备的唯一入口
│
├── 11.0 → [02] ← PCI Bridge (老式总线)
│ ├── 01.0 e1000 (Endpoint)
│ └── 04.0 e1000 (Endpoint)
│
└── 15.0 → [03] ← PCIe Root Port (真正的 PCI Express)
└── 00.0 VMXNET3 (Endpoint)
```
数据流：CPU → Root Complex → TLP 封装 → PCIe 链路 → Endpoint。
## 三、Config Space 完整解码
e1000 (02:01.0) 的 256 字节 Config Space，逐字段解码：
| Offset | 字段 | Hex 值 | 含义 |
|--------|------|--------|------|
| 0x00-01 | Vendor ID | 0x8086 | Intel |
| 0x02-03 | Device ID | 0x100f | 82545EM |
| 0x04-05 | Command | 0x0113 | IO+Mem enable, BusMaster OFF |
| 0x0a-0b | Class Code | 0x020000 | Network Controller |
| 0x0e | Header Type | 0x00 | Endpoint |
| 0x10-13 | BAR0 | 0xfd5c0004 | Memory@0xfd5c0000 , 64bit, 128KB, Non-Prefetchable |
| 0x18-1b | BAR2 | 0xfdff0004 | Memory@0xfdff0000 , 64KB |
| 0x20-23 | BAR4 | 0x00002001 | IO Port@0x2000 |
| 0x34 | Capability Ptr | 0xdc | 链表起点 |
| 0x3c | Interrupt Line | 0x07 | IRQ 7 |
| 0x3d | Interrupt Pin | 0x01 | INTA# |
BAR flag bit 解码: bit0=Memory/IO, bit[2:1]=32b/64b, bit3=Prefetchable。`0xfd5c0004` 中的 `4` = 0100₂ → 64-bit Memory, Non-Prefetchable。真实基址 = 0xfd5c0004 & ~0xF = 0xfd5c0000。
Capability 链表: 0xdc→PM(ID=1)→0xe4→PCI-X(ID=7)→0x00(End)。
## 四、VMXNET3 对比 (真正的 PCIe 设备)
| | e1000 | VMXNET3 |
|---|---|---|
|---|---|---|
| 总线 | PCI-X (老) | PCIe v2.0 |
| Bus | 0~255 | 第几条总线 |
| Capability | PM + PCI-X | PM + PCIe Express + MSI + MSI-X + Serial# |
| Device | 0~31 | 同总线第几个设备 |
| MSI-X | 无 | 25 向量, BAR2 offset 0, PBA offset 0x1000 |
| Function | 0~7 | 芯片的独立功能 |
## 五、实战踩坑
全系统最多 65536 个功能。DPDK 绑卡 `dpdk-devbind.py -b vfio-pci 03:00.0` 报的就是 BDF。
### 坑 1: Bus Master 没开
## 四、Config Space:出厂说明书(256B)
- **现象**: DPDK 启动后一个包都收不到
- **根因**: Command bit2=0 → 网卡不能 DMA
- **定位**: `lspci -vvv | grep "BusMaster"`
- **修复**: `pci_set_master(pdev)` 或 `setpci -s XX:XX.X COMMAND=0x117`
### 坑 2: 64-bit BAR 误读
| Byte | 字段 | 含义 |
- **现象**: 物理地址 >4GB 时 MMIO 地址错误
|---|---|---|
- **根因**: 只用 uint32_t 读 BAR0 低 32 位
| 0-1 | Vendor ID | 0x8086 = Intel |
- **修复**: 用 `resource_size_t pci_resource_start(pdev, 0)`
| 2-3 | Device ID | **驱动匹配第一依据 ** |
| 9-11 | Class Code | 0x020000 = 网络控制器 |
| 14 | Header Type | 0x00 = Endpoint |
### 坑 3: MSI-X 向量不够
## 五、BAR + MMIO:CPU 碰网卡的物理通道
- **现象**: 多队列网卡性能不增长
- **根因**: pci_alloc_irq_vectors 返回数 < RX 队列数
- **定位**: `cat /proc/interrupts | grep PCI-MSI | wc -l`
- **修复**: 增大内核 MSI-X 限制或 BIOS 调整
### 坑 4: PCIe 链路降速
- BAR = 网卡向 OS 要的一段物理地址,映射自己的寄存器;CPU 读写 = 操作网卡
- **现象**: 100Gbps 网卡只能跑 25Gbps
- 本质即交换机 SDK 的 `asic_write_register(addr, val)` 同款操作
- **定位**: `lspci -vvv | grep -E "LnkCap:|LnkSta:"` → Speed 2.5GT/s
- MSI-X 32 向量 = 多队列并行的硬件基础(uNOS 单核现在用 1,扩核复用)
- **修复**: 检查物理槽位宽度、PCIe 延长线、BIOS 设置
### 坑 5: AER 静默数据损坏
## 六、算法穿插:哈希表 + LC1
- **现象**: 偶尔出现 mbuf 数据乱码但不 crash
- **定位**: `dmesg | grep AER` → Uncorrectable Error
- **修复**: 必须换硬件，链路已不可靠
## 六、核心认知
- 哈希 = 把"值"换算成"下标",借数组 O(1) 给查找;三组件:哈希函数/桶数组/冲突处理
- LC1 两数之和:一趟遍历,每步问"补数出现过吗"(存在性查询 O(1)),先查后存保证"只向过去提问"
- **评级 🔴**:要求参考实现,未独立完成 → **09-11 重做 **
- 产品锚点: conntrack 表(M2)/ flow cache(M1, rte_hash)就是哈希表的工业形态
CPU 操作网卡的全路径：
## 七、冲刺穿插:RDMA 开篇
```
- RDMA = 网卡直接搬数据,CPU 不参与(QP/verbs、注册内存零拷贝、硬件可靠传输)
读 Config Space → 匹配 Vendor/Device ID → 确定驱动
- RoCEv2 = 以太网上的 RDMA → 对丢包零容忍 → 无损以太网成为 Week 1 主题
→ pci_enable_device → ioremap(BAR0) → 拿到虚拟地址
- **丢包 vs 暂停的代价账**:丢包 = 全局/传染/触发 ≥1 RTT 硬件重传 + AllReduce 木桶放大;PFC 暂停 = 局部/可恢复 → 宁可暂停不可丢包
→ ioread32/iowrite32 操作寄存器 → 网卡开始工作
```
BAR 是 MMIO 的入口，Config Space 是身份证，Capability 链表是扩展机制。
## 检验标准
## 七、检验标准
- [ ] 能画出 CPU → RC → Root Port → X540 拓扑并解释三角色
- [ ] 能解释 BDF 地址含义
- [ ] 能解释 BDF 三字段与 65536 上限
- [ ] 能手写 Config Space 前 16 字节 字段
- [ ] 能说出驱动匹配靠 Config Space 哪两个 字段
- [ ] 能从 hex 值解码 BAR 的基址和大小
- [ ] 能解释 BAR+MMIO 并联系 asic_write_register
- [ ] 能画 Capability 链表结构
- [ ] 能讲清 rte_eal_init 找 X540 的五步
- [ ] 能对比 e1000(PCI-X) vs VMXNET3(PCIe v2)
- [ ] 能口述哈希表"先查后存"为什么防自我匹配
- [ ] 能解释为什么 Bus Master bit 不置位就没 DMA
- [ ] 能说出 RDMA 丢包三层代价(重传 RTT/木桶/传染)
