Alluxio
ProductsLanguageHome
AI-3.5 (stable)
AI-3.5 (stable)
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 架构
    • Alluxio 命名空间和底层文件系统命名空间
    • I/O弹性
    • worker管理与一致性哈希
  • 底层存储系统
    • Amazon AWS S3
    • HDFS
    • 阿里云 OSS
    • 腾讯 COS
    • 火山引擎 TOS
    • 谷歌云 GCS
  • Client APIs
    • 基于 FSSpec 的Alluxio Python Filesystem API
    • 基于 FUSE 的 POSIX API
      • Client 写回
    • S3 API
  • 缓存操作
    • 缓存预加载
    • 缓存过滤
    • 缓存驱逐
      • TTL (有效时间)规则
      • 优先级规则
      • 通过命令行释放缓存空间
  • 资源管理
    • 基于目录的集群配额
    • UFS 带宽限制
  • 性能优化
    • 通过副本提高读取吞吐量
    • 读取大文件
    • 元数据列表
    • 数据预拉取
    • 写入临时文件
  • 安全
    • TLS 支持
  • 性能基准测试
    • Fio 测试概览
    • MLPerf Storage 基准测试
    • COSBench 性能基准测试
  • 参考
    • 用户命令行接口
    • 指标
    • S3 API 的使用
    • 第三方授权
  • 版本发布说明
Powered by GitBook
On this page
  • Alluxio Enterprise AI 概述
  • 卓越的性能
  • 无缝数据访问
  • 高可扩展性
  • 成本效益
  • 与AI框架集成
  • 通过Kubernetes Operator部署

概览

Last updated 7 months ago

欢迎使用Alluxio文档!在这里,您将找到有关部署Alluxio,Alluxio与各种技术栈集成,API参考等资源。如果您有任何问题期待交流,请加入Alluxio Slack社区 。

Alluxio Enterprise AI 概述

Alluxio Enterprise AI 作为高性能的数据平台,他通过分布式的软件架构和智能缓存显著增强机器学习训练和数据访问的能力。它增强了数据在计算侧的访问效率,给客户提供了一种高性能并且易于运维的解决方案去访问EB数据量百亿文件以上的数据湖。我们的平台重新定义了AI训练和推理访问数据的方式,无论数据位于处于云上或者数据中心,用户可以高效的利用所有数据来支持机器学习平台的模型训练与模型上线业务。

卓越的性能

模型训练: 利用专为 AI 工作负载定制的高性能低延迟的分布式缓存,在数据湖之上可实现高达 20 倍的 I/O 性能。Alluxio 可在训练工作流程的各个阶段提高读取数据集到写入模型的 IO 性能,从而消除 GPU 因IO缓慢造成的性能瓶颈。 模型服务: 与直接从对象存储提供模型服务相比,通过Alluxio从离线训练集群向离线和在线推理节点提供模型上线的速度最高可达对象存储的 10 倍以上。Alluxio完全分布式的缓存架构可轻松扩展到为数千个推理节点提供服务,让你无需担心模型更新的高延迟。

无缝数据访问

使用 Kubernetes 在 GPU 集群上快速部署 Alluxio,并将Alluxio与存储集群连接。无需迁移数据,即可以开启高性能的训练作业,并最大限度地缩短机器学习平台在不同云和本地集群上的生产时间。

高可扩展性

我们的分布式系统架构能够在云上使用通用硬件低延迟地访问超过1000亿对象。

成本效益

Alluxio 解决方案不需要额外购买专用存储硬件即可提高性能。它可以与现有的数据湖和存储解决方案无缝集成,将Alluxio与GPU集群部署在一起,以高 I/O 吞吐量为GPU集群提供高性能的数据访问服务。

与AI框架集成

Alluxio Enterprise AI 支持各种主流的IO接口,包括 POSIX(基于 FUSE)、S3 和 FSSpec,可无缝对接 PyTorch、TensorFlow、Apache Ray 或 Spark 等主流框架。 Alluxio Enterprise AI 是一个完整的解决方案,旨在满足现代人工智能和 ML 工作负载的IO需求。它具有卓越的性能、无缝的数据访问能力和可扩展性,是企业高效扩展人工智能业务的必备工具。

通过Kubernetes Operator部署

请参阅 的文档, 了解如何通过 (Kubernetes 包管理器)和 (用于管理应用程序的 Kubernetes 扩展) 在 Kubernetes 上安装 Alluxio。

在 Kubernetes 上安装 Alluxio
Helm
Operator
alluxio.io/slack