> For the complete documentation index, see [llms.txt](https://documentation.alluxio.io/ee-ai-cn/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://documentation.alluxio.io/ee-ai-cn/performance/model-loading.md).

# 模型加载优化

## 概览

**冷启动**是模型推理系统的主要瓶颈。每当发布新版本的模型、进行部署或 A/B 测试切换时，推理节点都必须加载巨大的检查点文件——通常高达数十甚至数百 GB。Alluxio 在加速 AI 模型文件加载方面非常有效，解决了生产级机器学习系统中的这一常见瓶颈。在典型的工作流中，训练好的模型存储在中心化的底层存储 (UFS) 中，在线推理服务需要快速加载它们以提供预测服务。这些模型文件通常很大，传统文件系统难以应对来自许多服务副本的高频并发读取请求，从而导致流量激增和启动缓慢。

## 通用优化

通过使用 Alluxio 作为缓存层（通常通过 Alluxio FUSE 挂载，将模型呈现为本地文件系统），您可以显著提高模型加载速度并减少底层存储 (UFS) 的负载。

虽然标准的客户端预读通常已经足够，但您可以启用专为模型服务中常见的高并发读取设计的增强预读逻辑。当多个服务通过同一个 Alluxio FUSE 实例读取同一个模型文件时，此功能可提供高达 3 倍的性能提升。

要启用此优化，请设置以下属性：

```properties
# 通用模型加载优化
alluxio.user.position.reader.streaming.async.prefetch.by.file.enabled=true
alluxio.user.position.reader.streaming.async.prefetch.shared.cache.enabled=true
```

## 针对 Safetensors 格式模型的高级优化

由于其安全性和零拷贝加载能力，Safetensors 现已成为 Hugging Face 上的主流模型格式。然而，其分散的访问模式可能会在分布式环境中导致延迟问题。

通过 Alluxio 的专项优化，Safetensors 的加载性能得到了显著提升——将 130GB 模型的加载时间从 900 多秒减少到 50 秒以内。这种方法实现了通过网络加载达到媲美本地 NVMe 的速度，从而实现更快的部署和更灵敏的推理基础设施。

### 背景与技术原理

本节解释了为什么 Safetensors 模型在分布式环境中加载缓慢，以及 Alluxio 的优化如何解决这一挑战。

#### Safetensors 模型文件特征

以主流 LLM（如 Qwen3-8B）为例，模型通常由一个索引文件和多个分片数据文件组成：

```
[4.0K]  Qwen3-8B
├── [ 728]  config.json
├── [  73]  configuration.json
├── [ 239]  generation_config.json
├── [1.6M]  merges.txt
├── [3.7G]  model-00001-of-00005.safetensors
├── [3.7G]  model-00002-of-00005.safetensors
├── [3.7G]  model-00003-of-00005.safetensors
├── [3.0G]  model-00004-of-00005.safetensors
├── [1.2G]  model-00005-of-00005.safetensors
├── [ 32K]  model.safetensors.index.json
├── [ 16K]  README.md
├── [9.5K]  tokenizer_config.json
├── [ 11M]  tokenizer.json
└── [2.6M]  vocab.json
```

* **索引文件 (`model.safetensors.index.json`)**：定义了权重与物理文件之间的映射关系。框架在加载时会优先读取此文件。
* **分片数据文件 (`.safetensors`)**：存储实际的张量数据，通常分割为多个 2GB-4GB 的分片。

#### 分布式存储中的挑战

由于其安全性和高效性，Safetensors 已成为开源 LLM（如 Qwen、Llama 和 Mistral）的标准格式。与旧的 Pickle 格式不同，Safetensors 使用内存映射 (`mmap`) 直接将模型权重加载到内存中，而没有执行代码的风险。

**"mmap" 的瓶颈**： 虽然 `mmap` 在本地磁盘上极快（零拷贝），但它产生了一种在分布式存储环境中难以处理的 I/O 模式：

1. **频繁的随机读取**：`mmap` 触发成千上万个细小的、分散的读取请求来获取张量数据。
2. **网络延迟敏感**：在分布式文件系统中，每一个小的读取请求都会产生一次网络往返开销。
3. **累积延迟**：当网络延迟较高时（例如在没有本地缓存的情况下访问对象存储），这些毫秒级的延迟会叠加，导致吞吐量骤降——即使在高带宽网络上，吞吐量也常降至几百 MB/s。

#### 何时启用优化

此方案能显著提升特定环境下的性能，但并非所有情况都必需。

**推荐场景 (高收益)**： 如果您的环境符合以下条件，请启用此优化：

* **高网络延迟**：您正从远程存储或云对象存储读取模型，且往返时间 (RTT) 较高。
* **吞吐量受限**：尽管带宽充足，但您观察到模型加载吞吐量降至 500MB/s 以下。
* **冷启动缓慢**：初始模型加载时间影响了您的服务扩缩容或部署敏捷性。

#### Alluxio 如何加速加载

为了克服成千上万次随机读取带来的延迟，Alluxio FUSE 客户端应用了特定的优化：

1. **智能预读**：Alluxio 不再单独获取小块数据，而是预测张量数据的顺序性，预取连续的大块数据。这将低效的随机 I/O 转换为高吞吐量的顺序 I/O。
2. **共享内存池**：Alluxio 利用 FUSE 进程内的专用内存池来缓存这些预读的数据块。这确保了数据一经获取，即刻提供给应用程序，无需重复的网络调用。

通过预读和缓存掩盖网络延迟，Alluxio 使得从对象存储加载远程模型的速度接近本地 NVMe SSD。

### 启用 Safetensors 优化

可以在 `alluxio-site.properties` 中或通过客户端配置设置以下属性。

**前提条件**：此优化需要为 FUSE 分配额外的 8 核 CPU 和 8-16GB 内存：

```properties
# 通用模型加载优化
alluxio.user.position.reader.streaming.async.prefetch.by.file.enabled=true
alluxio.user.position.reader.streaming.async.prefetch.shared.cache.enabled=true

# Safetensors 专项优化
alluxio.user.position.reader.streaming.async.prefetch.safetensors.prefetch.policy=PREFETCH_FILE
alluxio.user.position.reader.streaming.async.prefetch.safetensors.lookahead.files.count=2
alluxio.user.position.reader.streaming.async.prefetch.thread=128
alluxio.user.position.reader.streaming.async.prefetch.safetensors.max.running.prefetch.tasks=128
```

**配置说明**

| 配置项                                                                                            | 默认值     | 描述                      |
| ---------------------------------------------------------------------------------------------- | ------- | ----------------------- |
| `alluxio.user.position.reader.streaming.async.prefetch.shared.cache.enabled`                   | `false` | 是否启用共享缓存。               |
| `alluxio.user.position.reader.streaming.async.prefetch.safetensors.prefetch.policy`            | `NONE`  | **核心策略选择**              |
| `alluxio.user.position.reader.streaming.async.prefetch.safetensors.lookahead.files.count`      | `0`     | 指定提前预读的后续文件数量（推荐设置：1-2） |
| `alluxio.user.position.reader.streaming.async.prefetch.thread`                                 | `64`    | Fuse 内部并行预读的最大线程数       |
| `alluxio.user.position.reader.streaming.async.prefetch.safetensors.max.running.prefetch.tasks` | `64`    | Fuse 内部并行预读的最大任务数       |

### 性能基准测试

我们使用 AWS EC2 实例对 Safetensors 格式模型的加载性能进行了基准测试。

**模型：** [DeepSeek-R1-Distill-Llama-70B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-70B)

**硬件：** Alluxio Worker 和 FUSE 均部署在 `i3en.metal` 实例上。

**结果**

| 测试场景                | 加载时间  | 平均吞吐量     | 相对基线 (本地磁盘) 的性能 |
| ------------------- | ----- | --------- | --------------- |
| Alluxio 3.7 (无此优化)  | 536 秒 | 233 MB/秒  | 8.3%            |
| Alluxio 3.8 (开启此优化) | 49 秒  | 2.53 GB/秒 | 91.0%           |
| 本地磁盘                | 45 秒  | 2.78 GB/秒 | 100%            |

**分析：** 测试结果表明：

* **11 倍性能提升**：加载时间大幅下降（536秒 → 49秒），吞吐量提升至 2.53 GB/秒。
* **接近本地性能**：Alluxio 达到了本地磁盘 91% 的速度，有效消除了存算分离架构中远程对象存储的 I/O 瓶颈。

### 注意与限制

* **格式特定性**：上述优化逻辑是专门针对 `.safetensors`文件结构/访问模式设计的。其他模型格式（如 PyTorch `.bin`）可能无法获得同等程度的加速效果。