Alluxio
ProductsLanguageHome
DA-3.5 (stable)
DA-3.5 (stable)
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 架构
    • Alluxio 命名空间和底层文件系统命名空间
    • I/O弹性
    • worker管理与一致性哈希
  • 底层存储系统
    • Amazon AWS S3
    • HDFS
    • 腾讯 COS
  • 计算集成
    • 在 K8s 上运行 Trino
    • 在 K8s 上运行 Spark
    • 数据湖连接器
  • Client APIs
    • S3 API
    • Java HDFS 兼容 API
  • 缓存操作
    • 缓存预加载
    • 缓存过滤
    • 缓存驱逐
      • TTL (有效时间)规则
      • 优先级规则
      • 通过命令行释放缓存空间
  • 资源管理
    • 基于目录的集群配额
    • UFS 带宽限制
  • 性能优化
    • 通过副本提高读取吞吐量
    • 读取大文件
    • 元数据列表
    • 数据预拉取
  • 安全
    • TLS 支持
    • Apache Ranger 集成
  • 参考
    • 用户命令行接口
    • 指标
    • S3 API Usage
    • 第三方证书
  • 版本发布说明
Powered by GitBook
On this page
  • Alluxio Enterprise Data Analytics (DA) 概述
  • 成本效益
  • 无缝数据访问
  • 高可用性
  • 与 Data Analytics 框架集成
  • 跨云的可移植性
  • 稳定的性能
  • 通过 Kubernetes Operator 部署

概览

Last updated 2 months ago

欢迎使用Alluxio文档!在这里,您将找到有关部署Alluxio,Alluxio与各种技术栈集成,API参考等资源。如果您有任何问题期待交流,请加入Alluxio Slack社区 → alluxio.io/slack

Alluxio Enterprise Data Analytics (DA) 概述

Alluxio Enterprise DA 是一个高性能数据平台,旨在大幅提升大数据分析(如仪表盘和临时分析)和数据访问能力。它通过真正的分布式架构和智能缓存功能连接了计算与存储,提供高性能且具有成本效益的解决方案,能够实现数十亿对象的无缝数据访问。我们的平台重新定义了数据分析计算引擎访问数据的方式,帮助用户高效便捷地利用任何位置的数据。

成本效益

通常,大约10%的数据是热数据,会被频繁重复使用。Alluxio缓存有助于避免对底层存储进行重复数据访问,从而节省高达80%的云API请求和外部流量费用。假设云成本中20%是存储成本,那么节约的成本将占总云成本的约16%。

无缝数据访问

使用 Kubernetes 在 GPU 集群上快速部署 Alluxio,并将Alluxio与存储集群连接。无需迁移数据,即可开启高性能的训练作业,并最大限度地缩短跨云和本地集群的机器学习平台的生产上线时间。

高可用性

我们的分布式系统架构 (点击此处了解更多)能够在云上使用通用硬件低延迟地访问超过1000亿对象。

与 Data Analytics 框架集成

Alluxio Enterprise Data Analytics (DA) 支持包括 HDFS 和S3在内的各种API,可无缝对接 Spark、Trino、Presto 等主流框架。 Alluxio Enterprise DA 是一项全面的解决方案,旨在满足现代数据分析工作负载的需求。它具有卓越的性能、无缝的数据访问能力和可扩展性,是企业高效扩展数据分析业务的必备工具。

跨云的可移植性

Alluxio 支持行业主流的 API,如 S3 和 HDFS,通过服务器端 API 转换将标准客户端接口透明地转换为任何存储接口。这为不同技术栈之间的客户端应用程序带来了可移植性,提高了向现代技术栈迁移的灵活性,且支持混合云架构。

稳定的性能

在单一云区域内,预期性能提升40%,此外,在高并发和大规模部署的情况下,用户可严格执行服务水平协议(SLA),确保尾延迟(tail latency)稳定。

通过 Kubernetes Operator 部署

请参阅 的文档, 了解如何通过 Helm(Kubernetes 包管理器)和 Operator (用于管理应用程序的 Kubernetes 扩展) 在 Kubernetes 上安装 Alluxio。

在 Kubernetes 上安装 Alluxio