Alluxio
ProductsLanguageHome
  • Alluxio概览
  • 用户指南
    • 快速上手指南
    • 架构
    • FAQ
    • 作业服务器
    • 应用场景
  • 核心功能
    • 缓存
    • 统一命名空间
  • 部署 Alluxio
    • 在Kubernetes上部署Alluxio
    • 本地运行Alluxio
    • 在集群上独立运行Alluxio
    • 在Docker上运行Alluxio
    • 在具有HA的群集上部署Alluxio
    • 使用Docker部署AlluxioFuse加速深度学习训练(试验)
    • 基本要求
  • 云源生
    • Tencent EMR
  • 计算应用
    • Apache Spark
    • Presto
    • Spark on Kubernetes
    • Apache Flink
    • Apache Hadoop MapReduce
    • Presto on Iceberg (Experimental)
    • Trino
    • Apache Hive
    • 深度学习框架
    • Tensorflow
  • 底层存储系统
    • Alluxio集成Amazon AWS S3作为底层存储
    • Alluxio集成GCS作为底层存储
    • Alluxio集成Azure Blob Store作为底层存储
    • Azure Data Lake Storage Gen2
    • Azure 数据湖存储
    • Alluxio集成HDFS作为底层存储
    • Alluxio集成COS作为底层存储
    • Alluxio集成COSN作为底层存储
    • Alluxio集成Ceph Object Storage作为底层存储
    • Alluxio集成NFS作为底层存储
    • Alluxio集成Kodo作为底层存储
    • Alluxio集成Swift作为底层存储
    • Alluxio集成WEB作为底层存储
    • Alluxio集成Minio作为底层存储
    • 阿里云对象存储服务
    • Alluxio集成Ozone作为底层存储
    • Alluxio集成CephFS作为底层存储
  • 安全设置
    • 安全性
  • 运维指南
    • 配置项设置
    • 命令行接口
    • 管理员命令行接口
    • Web界面
    • 日志
    • 度量指标系统
    • 远程记录日志
  • 管理
    • 升级
    • 异常诊断与调试
  • APIs
    • Filesystem API
    • S3 Client
    • POSIX API
    • REST API
    • Python Client
    • 兼容Hadoop的Java
    • Go 客户端
  • 开发者资源
    • 编译Alluxio源代码
    • 开发指南
    • 代码规范
    • 如何开发单元测试
    • 文档规范
  • 参考
    • 配置项列表
    • List of Metrics
  • REST API
    • Master REST API
    • Worker REST API
    • Proxy REST API
    • Job REST API
  • Javadoc
Powered by GitBook
On this page
  • 初始步骤
  • 配置Alluxio
  • 方法1: S3接口
  • 方法2: Swift接口
  • 使用Ceph本地运行Alluxio
  • 访问控制
  1. 底层存储系统

Alluxio集成Ceph Object Storage作为底层存储

Last updated 6 months ago

该指南介绍如何配置Alluxio以使用Ceph Object Storage作为底层文件系统。Alluxio使用 支持两种不同的客户端API连接:

  • (推荐使用)

初始步骤

首先,在你的机器上必须安装Alluxio二进制包。你可以自己,或者

配置Alluxio

为了配置Alluxio以使用底层文件系统,需要修改alluxio-site.properties文件。如果该文件不存在,根据模板创建配置文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties

方法1: S3接口

向conf/alluxio-site.properties文件添加以下代码:

alluxio.master.mount.table.root.ufs=s3://<bucket>/<folder>
s3a.accessKeyId=<access-key>
s3a.secretKey=<secret-key>
alluxio.underfs.s3.endpoint=http://<rgw-hostname>:<rgw-port>
alluxio.underfs.s3.disable.dns.buckets=true
alluxio.underfs.s3.inherit.acl=<inherit-acl>

如果使用Ceph的版本,比如hammer(或者更老的版本),指定alluxio.underfs.s3.signer.algorithm=S3SignerType来使用v2版本的S3签名。 为了使用v1版本的GET Bucket(列出对象),指定alluxio.underfs.s3.list.objects.v1=true。

方法2: Swift接口

向conf/alluxio-env.sh文件添加以下代码:

alluxio.master.mount.table.root.ufs=swift://<swift-container>

其中,<swift-container>是一个已经存在的Swift容器。

以下的配置需要配置在conf/alluxio-site.properties中

fs.swift.user=<swift-user>
fs.swift.tenant=<swift-tenant>
fs.swift.password=<swift-user-password>
fs.swift.auth.url=<swift-auth-url>
fs.swift.auth.method=<swift-auth-model>

<swift-use-public>可能的值为true,false。如果使用本地的Ceph RGW认证,指定<swift-auth-model>为swiftauth。指定 <swift-auth-url>为http://<rgw-hostname>:8090/auth/1.0

使用Ceph本地运行Alluxio

完成所有的配置之后,你可以本地运行Alluxio,观察是否一切运行正常。

./bin/alluxio format
./bin/alluxio-start.sh local

接着,你可以运行一个简单的示例程序:

./bin/alluxio runTests

运行成功后,访问你的bucket/container目录,确认其中包含了由Alluxio创建的文件和目录。

如果使用S3连接器,创建的文件名称应像下面这样:

S3_BUCKET/S3_DIRECTORY/alluxio/data/default_tests_files/Basic_CACHE_THROUGH

如果使用Swift连接器,创建的文件名称应像下面这样:

swift://<SWIFT CONTAINER>/alluxio/data/default_tests_files/Basic_CACHE_THROUGH

访问控制

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问查看master Web UI。

如果Alluxio安全认证被启用,Alluxio将会遵循底层Ceph对象存储的访问权限控制,根据使用的接口,参考 或者获得更多信息。

Rados Gateway
Ceph Object Storage
S3
Swift
编译Alluxio
下载二进制包
http://localhost:19999
S3 Access Control
Swift Access Control