版本发布说明

AI-3.5-10.0.0

我们很高兴地宣布 Alluxio AI 3.5 版本发布！此版本引入了多项新功能，旨在强化几个重要方面，如写入性能（实验性）、Python 软件开发工具包（实验性）、S3 API，最后但同样重要的是安全性。以下是主要亮点。

新功能

【实验性】全新 Python SDK 与 FSSpec 集成

基于 FSSpec 的 Alluxio Python 文件系统 API 可轻松与 Ray、Pytorch 和 Pyarrow 集成。

【实验性】仅缓存写入模式以提升写入性能

此前，Alluxio 的数据写入性能受底层文件系统（UFS）限制。

为解决这一局限，Alluxio 提供了全新的仅缓存写入功能，可将数据临时仅存储在 Alluxio 缓存中，消除数据写入对 UFS 的依赖。因此，仅缓存写入模式能提供更高且更具扩展性的写入性能。此功能将使那些对写入性能要求高的工作负载受益，比如人工智能模型训练期间的检查点保存。

请注意，由于数据不会写入 UFS，系统停机期间这些数据的持久性无法保证，因此 Alluxio 仅缓存模式不应被用作持久存储。我们建议仅缓存模式仅用于某些对数据写入吞吐量要求较高且能承受潜在数据丢失的工作负载，例如模型训练期间创建检查点文件以及 Spark 混洗期间的临时数据。更多详情请参考《写入临时文件》。

【实验性】列表缓存以提升目录列表性能

引入索引服务作为目录列表的缓存服务，旨在为包含数亿文件和子目录的大型目录提供高性能和可扩展性。与直接在 S3 上列出目录相比，索引服务可使大型目录列表速度提升 3 到 5 倍。

UFS 流量限制器

UFS 读取速率限制器功能允许用户为单个工作节点执行的 UFS 读取配置每秒最大带宽限制。虽然可能会出现短暂的带宽峰值，但平均使用量会保持在指定限制内，确保对数据流进行控制，以优化资源利用并维持系统稳定性。此功能通过限制数据处理速率来管理工作负载，尤为实用。

更多详情请参考《UFS 带宽限制》。请注意，此功能仅在以下 UFS 类型中受支持：HDFS、S3、OSS、COS 和 GCS。

异构工作节点规格与配置

Alluxio Operator 现在支持配置不同大小的异构工作节点存储设备。这将为在异构环境中部署 Alluxio 提供更大的灵活性。请参阅安装页面的部署规范以及worker管理页面描述的配置选项。

S3 API 增强

• 支持 HTTP 持久连接（Keep - Alive）

  • HTTP 持久连接（也称为 HTTP 保持活动），是指使用单个 TCP 连接来发送和接收多个 HTTP 请求 / 响应，而不是为每个请求 / 响应配对打开新连接。通过在 Alluxio S3 API 中支持 HTTP 持久连接，4KB S3 对象读取的 IO 延迟将降低约 40%。

• 支持 TLS

• 支持多部分上传（MPU）

安全增强

• 支持 TLS 以保障集群流量安全

• 解决最新的常见漏洞和暴露（CVE）：通过移除或升级相应软件包，解决了几个关键的 CVE，例如：

  • Log4j：明确排除了通过各种依赖间接引入的任何 log4j 1.x 版本。

  • Zookeeper：从所有依赖中移除并明确排除，特别是与 Hadoop 相关的依赖。

  • Jackson -databind：升级到 2.24.1。

总结 Alluxio AI 3.5 带来了强大的新功能，以增强 API、写入性能和安全性。我们鼓励用户探索这些新改进，以优化其数据工作流程。有关更新和改进的完整列表，请参考我们的官方文档。

感谢您一直以来的支持！