Compare commits
2
Commits
bde2b24a4c
...
d231b3d8e3
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
d231b3d8e3 | ||
|
|
455032dddd |
@@ -0,0 +1,16 @@
|
||||
# 2026-09
|
||||
|
||||
## 09-09 P0-Day01 PCIe 拓扑与 Config Space
|
||||
- 读: Day01-lecture.md(拓扑/BDF/Config Space/BAR)
|
||||
- 写: 无(概念日)
|
||||
- 数据: BDF 上限 256×32×8 = 65536 功能;Config Space 256B;X540 ID 以 lspci 实测为准
|
||||
|
||||
## 09-09 算法-哈希表原理
|
||||
- 读: algo-theory/01-hash-table.md + LC1 参考实现
|
||||
- 写: 无(🔴 要求参考实现,09-11 重做)
|
||||
- 数据: 平均 O(1) 最坏 O(n);负载因子 >0.75 扩容 rehash
|
||||
|
||||
## 09-09 RDMA-丢包的代价
|
||||
- 读: Week 1 开篇(QP/verbs/零拷贝/RoCEv2)
|
||||
- 写: 无
|
||||
- 数据: 丢包 = 全局传染 + ≥1 RTT 硬件重传 + 木桶放大;PFC 暂停 = 局部可恢复
|
||||
@@ -6,6 +6,7 @@ DPDK 学习与应用开发的知识积累。
|
||||
|
||||
## 每月记录
|
||||
|
||||
[2026-09 更新](./2026-09.md)
|
||||
[2026-08 更新](./2026-08.md)
|
||||
|
||||
## 知识分类
|
||||
|
||||
+1
-1
@@ -6,7 +6,7 @@
|
||||
|
||||
| Day | 主题 | 日期 |
|
||||
|-----|------|------|
|
||||
| [Day 01](/notes/phase0/day01-pcie-topology) | PCIe 拓扑结构 | Jun 2026 |
|
||||
| [Day 01](/notes/phase0/day01-pcie-topology) | PCIe 拓扑结构 | Sep 2026(重启后 Day 1) |
|
||||
| [Day 02](/notes/phase0/day02-kernel-rx-path) | 内核收包路径分析 | Jun 2026 |
|
||||
| [Day 03](/notes/phase0/day03-kernel-memory) | 内核内存管理 | Jun 2026 |
|
||||
| [Day 04](/notes/phase0/day04-rcu-lockfree) | RCU & Lock-free 编程 | Jun 2026 |
|
||||
|
||||
@@ -1,127 +1,64 @@
|
||||
# Phase 0 · Day 1: PCIe 总线拓扑与 Config Space
|
||||
# Phase 0 · Day 01: PCIe 总线拓扑与 Config Space
|
||||
|
||||
---
|
||||
> 2026-09-09(主线 Day 1 · 重启后) | 讲义: `Day01-lecture.md` | 融合锚点: uNOS M0 + X540-T2
|
||||
|
||||
## 一、BDF 地址:每个设备的唯一身份
|
||||
## 一、核心图景:软件怎么碰到硬件
|
||||
|
||||
DPDK/uNOS 的第一行代码 `rte_eal_init()` 返回之前要完成:扫 PCIe 树 → 按 Vendor/Device ID 认出 X540 → 读 Config Space 拿 BAR → 映射成用户态可写地址(MMIO)→ 之后 PMD 写寄存器 = 收发包。**PCIe 就是"软件碰到硬件"的那条路**,也是 P4 手写驱动的同一块知识。
|
||||
|
||||
## 二、拓扑:一条树,三个角色
|
||||
|
||||
```
|
||||
0000 : 02 : 01 . 0
|
||||
│ │ │ └── Function (0~7) — 一个物理芯片可以有多个功能
|
||||
│ │ └────── Device (0~31) — 同一总线上最多 32 个设备
|
||||
│ └─────────── Bus (0~255) — 256 条总线
|
||||
└───────────────── Domain (0~65535) — 多 CPU socket 系统有多个 domain
|
||||
|
||||
单 CPU 系统 domain=0000。多路服务器每个 socket 一个 domain。
|
||||
CPU(Root Complex) → Root Port(桥, 引出新总线) → X540(Endpoint)
|
||||
```
|
||||
|
||||
DPDK 通过 BDF 地址接管网卡:`dpdk-devbind.py -b vfio-pci 02:01.0`
|
||||
- Root Complex = CPU 访问 PCIe 的唯一入口;Bridge 扩展总线;Endpoint = 设备本身
|
||||
- 类比: 机框/板卡/端口 三级编号 = Bus/Device/Function
|
||||
|
||||
### 为什么需要三级?
|
||||
## 三、BDF:设备的身份证
|
||||
|
||||
PCI 是树形拓扑。每个 Bridge 引入一条新 bus。256 条 bus × 32 设备 × 8 功能 = 65536 个可寻址功能。如果没有 bus 层级,只靠 5-bit device 最多 32 个设备——一张显卡+一张网卡就满了。
|
||||
|
||||
## 二、拓扑中的四种角色
|
||||
|
||||
| 角色 | 你的实例 | 职责 |
|
||||
|------|---------|------|
|
||||
| **Root Complex** | `00:00.0` | CPU 和 PCIe 世界的桥梁,把 load/store 翻译成 TLP |
|
||||
| **PCI Bridge** | `00:11.0` → Bus 02 | 传统 PCI 桥,用 subtractive decode 转发未认领的访问 |
|
||||
| **PCIe Root Port** | `00:15.0` → Bus 03 | PCIe 原生桥,点对点链路,支持更高带宽 |
|
||||
| **Endpoint** | `02:01.0` `03:00.0` | 叶子节点,实际的网卡设备 |
|
||||
|
||||
关键差异:`02:01.0` (e1000) 是挂在传统 PCI Bridge 后面的老式设备,多条设备共享 Bus 02。`03:00.0` (VMXNET3) 是 PCIe Endpoint,独享 Bus 03 的整条链路(5GT/s × x32)。
|
||||
|
||||
## 二、PCIe 拓扑
|
||||
|
||||
```
|
||||
[0000:00] ← Root Complex (Host Bridge)
|
||||
│ CPU 访问 PCIe 设备的唯一入口
|
||||
│
|
||||
├── 11.0 → [02] ← PCI Bridge (老式总线)
|
||||
│ ├── 01.0 e1000 (Endpoint)
|
||||
│ └── 04.0 e1000 (Endpoint)
|
||||
│
|
||||
└── 15.0 → [03] ← PCIe Root Port (真正的 PCI Express)
|
||||
└── 00.0 VMXNET3 (Endpoint)
|
||||
```
|
||||
|
||||
数据流:CPU → Root Complex → TLP 封装 → PCIe 链路 → Endpoint。
|
||||
|
||||
## 三、Config Space 完整解码
|
||||
|
||||
e1000 (02:01.0) 的 256 字节 Config Space,逐字段解码:
|
||||
|
||||
| Offset | 字段 | Hex 值 | 含义 |
|
||||
|--------|------|--------|------|
|
||||
| 0x00-01 | Vendor ID | 0x8086 | Intel |
|
||||
| 0x02-03 | Device ID | 0x100f | 82545EM |
|
||||
| 0x04-05 | Command | 0x0113 | IO+Mem enable, BusMaster OFF |
|
||||
| 0x0a-0b | Class Code | 0x020000 | Network Controller |
|
||||
| 0x0e | Header Type | 0x00 | Endpoint |
|
||||
| 0x10-13 | BAR0 | 0xfd5c0004 | Memory@0xfd5c0000, 64bit, 128KB, Non-Prefetchable |
|
||||
| 0x18-1b | BAR2 | 0xfdff0004 | Memory@0xfdff0000, 64KB |
|
||||
| 0x20-23 | BAR4 | 0x00002001 | IO Port@0x2000 |
|
||||
| 0x34 | Capability Ptr | 0xdc | 链表起点 |
|
||||
| 0x3c | Interrupt Line | 0x07 | IRQ 7 |
|
||||
| 0x3d | Interrupt Pin | 0x01 | INTA# |
|
||||
|
||||
BAR flag bit 解码: bit0=Memory/IO, bit[2:1]=32b/64b, bit3=Prefetchable。`0xfd5c0004` 中的 `4` = 0100₂ → 64-bit Memory, Non-Prefetchable。真实基址 = 0xfd5c0004 & ~0xF = 0xfd5c0000。
|
||||
|
||||
Capability 链表: 0xdc→PM(ID=1)→0xe4→PCI-X(ID=7)→0x00(End)。
|
||||
|
||||
## 四、VMXNET3 对比 (真正的 PCIe 设备)
|
||||
|
||||
| | e1000 | VMXNET3 |
|
||||
| 字段 | 位数/范围 | 含义 |
|
||||
|---|---|---|
|
||||
| 总线 | PCI-X (老) | PCIe v2.0 |
|
||||
| Capability | PM + PCI-X | PM + PCIe Express + MSI + MSI-X + Serial# |
|
||||
| MSI-X | 无 | 25 向量, BAR2 offset 0, PBA offset 0x1000 |
|
||||
| Bus | 0~255 | 第几条总线 |
|
||||
| Device | 0~31 | 同总线第几个设备 |
|
||||
| Function | 0~7 | 芯片的独立功能 |
|
||||
|
||||
## 五、实战踩坑
|
||||
全系统最多 65536 个功能。DPDK 绑卡 `dpdk-devbind.py -b vfio-pci 03:00.0` 报的就是 BDF。
|
||||
|
||||
### 坑 1: Bus Master 没开
|
||||
- **现象**: DPDK 启动后一个包都收不到
|
||||
- **根因**: Command bit2=0 → 网卡不能 DMA
|
||||
- **定位**: `lspci -vvv | grep "BusMaster"`
|
||||
- **修复**: `pci_set_master(pdev)` 或 `setpci -s XX:XX.X COMMAND=0x117`
|
||||
## 四、Config Space:出厂说明书(256B)
|
||||
|
||||
### 坑 2: 64-bit BAR 误读
|
||||
- **现象**: 物理地址 >4GB 时 MMIO 地址错误
|
||||
- **根因**: 只用 uint32_t 读 BAR0 低 32 位
|
||||
- **修复**: 用 `resource_size_t pci_resource_start(pdev, 0)`
|
||||
| Byte | 字段 | 含义 |
|
||||
|---|---|---|
|
||||
| 0-1 | Vendor ID | 0x8086 = Intel |
|
||||
| 2-3 | Device ID | **驱动匹配第一依据** |
|
||||
| 9-11 | Class Code | 0x020000 = 网络控制器 |
|
||||
| 14 | Header Type | 0x00 = Endpoint |
|
||||
|
||||
### 坑 3: MSI-X 向量不够
|
||||
- **现象**: 多队列网卡性能不增长
|
||||
- **根因**: pci_alloc_irq_vectors 返回数 < RX 队列数
|
||||
- **定位**: `cat /proc/interrupts | grep PCI-MSI | wc -l`
|
||||
- **修复**: 增大内核 MSI-X 限制或 BIOS 调整
|
||||
## 五、BAR + MMIO:CPU 碰网卡的物理通道
|
||||
|
||||
### 坑 4: PCIe 链路降速
|
||||
- **现象**: 100Gbps 网卡只能跑 25Gbps
|
||||
- **定位**: `lspci -vvv | grep -E "LnkCap:|LnkSta:"` → Speed 2.5GT/s
|
||||
- **修复**: 检查物理槽位宽度、PCIe 延长线、BIOS 设置
|
||||
- BAR = 网卡向 OS 要的一段物理地址,映射自己的寄存器;CPU 读写 = 操作网卡
|
||||
- 本质即交换机 SDK 的 `asic_write_register(addr, val)` 同款操作
|
||||
- MSI-X 32 向量 = 多队列并行的硬件基础(uNOS 单核现在用 1,扩核复用)
|
||||
|
||||
### 坑 5: AER 静默数据损坏
|
||||
- **现象**: 偶尔出现 mbuf 数据乱码但不 crash
|
||||
- **定位**: `dmesg | grep AER` → Uncorrectable Error
|
||||
- **修复**: 必须换硬件,链路已不可靠
|
||||
## 六、算法穿插:哈希表 + LC1
|
||||
|
||||
## 六、核心认知
|
||||
- 哈希 = 把"值"换算成"下标",借数组 O(1) 给查找;三组件:哈希函数/桶数组/冲突处理
|
||||
- LC1 两数之和:一趟遍历,每步问"补数出现过吗"(存在性查询 O(1)),先查后存保证"只向过去提问"
|
||||
- **评级 🔴**:要求参考实现,未独立完成 → **09-11 重做**
|
||||
- 产品锚点: conntrack 表(M2)/ flow cache(M1, rte_hash)就是哈希表的工业形态
|
||||
|
||||
CPU 操作网卡的全路径:
|
||||
## 七、冲刺穿插:RDMA 开篇
|
||||
|
||||
```
|
||||
读 Config Space → 匹配 Vendor/Device ID → 确定驱动
|
||||
→ pci_enable_device → ioremap(BAR0) → 拿到虚拟地址
|
||||
→ ioread32/iowrite32 操作寄存器 → 网卡开始工作
|
||||
```
|
||||
- RDMA = 网卡直接搬数据,CPU 不参与(QP/verbs、注册内存零拷贝、硬件可靠传输)
|
||||
- RoCEv2 = 以太网上的 RDMA → 对丢包零容忍 → 无损以太网成为 Week 1 主题
|
||||
- **丢包 vs 暂停的代价账**:丢包 = 全局/传染/触发 ≥1 RTT 硬件重传 + AllReduce 木桶放大;PFC 暂停 = 局部/可恢复 → 宁可暂停不可丢包
|
||||
|
||||
BAR 是 MMIO 的入口,Config Space 是身份证,Capability 链表是扩展机制。
|
||||
## 检验标准
|
||||
|
||||
## 七、检验标准
|
||||
- [ ] 能解释 BDF 地址含义
|
||||
- [ ] 能手写 Config Space 前 16 字节字段
|
||||
- [ ] 能从 hex 值解码 BAR 的基址和大小
|
||||
- [ ] 能画 Capability 链表结构
|
||||
- [ ] 能对比 e1000(PCI-X) vs VMXNET3(PCIe v2)
|
||||
- [ ] 能解释为什么 Bus Master bit 不置位就没 DMA
|
||||
- [ ] 能画出 CPU → RC → Root Port → X540 拓扑并解释三角色
|
||||
- [ ] 能解释 BDF 三字段与 65536 上限
|
||||
- [ ] 能说出驱动匹配靠 Config Space 哪两个字段
|
||||
- [ ] 能解释 BAR+MMIO 并联系 asic_write_register
|
||||
- [ ] 能讲清 rte_eal_init 找 X540 的五步
|
||||
- [ ] 能口述哈希表"先查后存"为什么防自我匹配
|
||||
- [ ] 能说出 RDMA 丢包三层代价(重传 RTT/木桶/传染)
|
||||
|
||||
Reference in New Issue
Block a user