Alluxio
ProductsLanguageHome
AI-3.4
AI-3.4
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 底层存储系统
    • 存储集成概述
    • Amazon AWS S3
    • HDFS
    • 阿里云 OSS
    • 腾讯 COS
    • 火山引擎 TOS
    • GCS
  • Client APIs
    • Alluxio Python Filesystem API based on FSSpec
    • 基于 FUSE 的 POSIX API
    • S3 API
  • 功能
    • Alluxio 命名空间和底层文件系统命名空间
    • 缓存预加载
    • Client 写回
    • 缓存驱逐
      • 基于 TTL 的缓存驱逐
      • 基于优先级的缓存驱逐
    • 缓存过滤
    • 缓存释放
    • 基于目录的集群配额
    • 文件多副本
    • 文件分片
    • 索引服务
    • I/O弹性
  • 性能基准测试
    • Fio 测试概览
    • MLPerf Storage 基准测试
    • 性能优化
    • COSBench 性能基准测试
  • 参考
    • 用户命令行接口
    • S3 API Usage
    • Third Party Licenses
  • 版本发布说明
Powered by GitBook
On this page
  • 先决条件
  • 基本设置
  • 高级设置
  • [实验性] OSS 多部分上传
  1. 底层存储系统

阿里云 OSS

Last updated 3 months ago

本指南介绍如何将配置为 Alluxio 的底层存储系统。

阿里云对象存储服务(OSS)是阿里云提供的海量、安全、高可靠的云存储服务。OSS 提供多种存储类别,帮助您管理和降低存储成本。

有关阿里云对象存储服务的更多信息,请阅读其

先决条件

如果尚未了解,请在开始使用前查看。

准备与 Alluxio 一起使用 OSS:

<OSS_BUCKET>

<OSS_DIRECTORY>

要在桶中使用的目录,可以创建新目录或使用现有目录

<OSS_ACCESS_KEY_ID>

<OSS_ACCESS_KEY_SECRET>

<OSS_ENDPOINT>

基本设置

使用 来增加一个新的挂载点, 指定Alluxio路径在其上创建挂载,指定OSS的路径作为UFS URI。 密钥和配置选项也可以通过指定 --option 标志作为挂载命令的一部分来指定,如所述。

一个将 oss://<OSS_BUCKET>/<OSS_DIRECTORY> 挂载到 /oss 的示例命令:

bin/alluxio mount add --path /oss/ --ufs-uri oss://<OSS_BUCKET>/<OSS_DIRECTORY> \
  --option fs.oss.accessKeyId=<OSS_ACCESS_KEY> --option fs.oss.accessKeySecret=<OSS_ACCESS_KEY_SECRET> \
  --option fs.oss.endpoint=<OSS_ENDPOINT>

请注意,如果您想挂载OSS bucket的根,请在bucket名称后面添加一个斜杠(例如oss://OSS_BUCKET/).

高级设置

请注意,配置选项可以指定为mount选项,也可以作为conf/alluxio-site.properties中的配置属性。 以下部分将介绍如何将配置设置为属性,但也可以通过 --option <key>=<value> 将它们设置为挂载选项。

[实验性] OSS 多部分上传

默认的上传方法是一次性从头到尾上传一个文件。我们使用多部分上传方法分多个部分上传一个文件,每个部分都将在一个线程中上传。上传时不会生成任何临时文件。

要启用 OSS 多部分上传,需要修改 conf/alluxio-site.properties,将以下内容包括在内:

alluxio.underfs.oss.multipart.upload.enabled=true

您还可以在 conf/alluxio-site.properties 中指定其他参数,以使程序更快更好地运行。

# 使用分片上传时,上传分片的超时时间。
alluxio.underfs.object.store.multipart.upload.timeout
# OSS 分片上传的线程池大小。
alluxio.underfs.oss.multipart.upload.threads
# OSS 分片上传的分区大小。默认分区大小为 64MB。 
alluxio.underfs.oss.multipart.upload.partition.size

或使用现有桶

用于识别用户的 ID。请参阅

用于验证用户身份的密文。请参阅

端点是其他服务可以用来访问 OSS 的域名。请参阅

在 OSS 控制台中创建一个新桶
如何获取访问密钥对
如何获取访问密钥对
公共云中的区域和 OSS 端点
阿里云对象存储服务
文档
先决条件
挂载表操作
配置挂载点