Alluxio
ProductsLanguageHome
AI-3.3
AI-3.3
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 底层存储系统
    • 存储集成概述
    • Amazon AWS S3
    • HDFS
    • 阿里云 OSS
    • 腾讯 COS
    • 火山引擎 TOS
    • GCS
  • Client APIs
    • Alluxio Python Filesystem API based on FSSpec
    • 基于 FUSE 的 POSIX API
    • S3 API
  • 功能
    • Alluxio 命名空间和底层文件系统命名空间
    • 缓存预加载
    • Client 写回
    • 缓存驱逐
    • 缓存过滤
    • 缓存释放
    • 基于目录的集群配额
    • 文件多副本
    • 文件分片
    • 索引服务
    • I/O弹性
  • 性能基准测试
    • Fio 测试概览
    • MLPerf Storage 基准测试
    • 性能优化
    • COSBench 性能基准测试
  • 参考
    • 用户命令行接口
    • S3 API Usage
    • Third Party Licenses
Powered by GitBook
On this page
  1. 底层存储系统

存储集成概述

Last updated 6 months ago

本指南将包含在将您期望的底层存储系统和Alluxio一起运行的通常先决条件。要学习如何配置每一个单独的存储系统和Alluxio运行,请查看它们各自的页面。 参考 以了解将存储挂载到Alluxio的命名空间中的命令。

先决条件

为了准备使用您选择的存储系统与Alluxio,请确保在开始配置Alluxio到您的底层存储系统之前,您拥有所有所需的位置、凭据和附加属性。

对于本指南的目的,以下是占位符。

存储系统
位置
凭据
附加属性

S3_BUCKET, S3_DIRECTORY

S3_ACCESS_KEY_ID, S3_SECRET_KEY

HDFS_NAMENODE, HDFS_PORT

Specify Hadoop version: HADOOP_VERSION

OSS_BUCKET, OSS_DIRECTORY

OSS_ACCESS_KEY_ID, OSS_ACCESS_KEY_SECRET, OSS_ENDPOINT

COS_BUCKET, COS_DIRECTORY

COS_ACCESS_KEY_ID, COS_ACCESS_KEY_SECRET, COS_REGION, COS_APP_ID

TOS_BUCKET, TOS_DIRECTORY

TOS_ACCESS_KEY_ID, TOS_ACCESS_KEY_SECRET, TOS_REGION, TOS_ENDPOINT

GCS_BUCKET, GCS_DIRECTORY

google_application_credentials 或者 GCS_ACCESS_KEY_ID, GCS_SECRET_ACCESS_KEY

alluxio.underfs.gcs.version

Amazon AWS S3
HDFS
Aliyun Object Storage Service (OSS)
COS
TOS
GCS
配置挂载点