Alluxio
ProductsLanguageHome
  • Alluxio概览
  • 用户指南
    • 快速上手指南
    • 架构
    • FAQ
    • 作业服务器
    • 应用场景
  • 核心功能
    • 缓存
    • 统一命名空间
  • 部署 Alluxio
    • 在Kubernetes上部署Alluxio
    • 本地运行Alluxio
    • 在集群上独立运行Alluxio
    • 在Docker上运行Alluxio
    • 在具有HA的群集上部署Alluxio
    • 使用Docker部署AlluxioFuse加速深度学习训练(试验)
    • 基本要求
  • 云源生
    • Tencent EMR
  • 计算应用
    • Apache Spark
    • Presto
    • Spark on Kubernetes
    • Apache Flink
    • Apache Hadoop MapReduce
    • Presto on Iceberg (Experimental)
    • Trino
    • Apache Hive
    • 深度学习框架
    • Tensorflow
  • 底层存储系统
    • Alluxio集成Amazon AWS S3作为底层存储
    • Alluxio集成GCS作为底层存储
    • Alluxio集成Azure Blob Store作为底层存储
    • Azure Data Lake Storage Gen2
    • Azure 数据湖存储
    • Alluxio集成HDFS作为底层存储
    • Alluxio集成COS作为底层存储
    • Alluxio集成COSN作为底层存储
    • Alluxio集成Ceph Object Storage作为底层存储
    • Alluxio集成NFS作为底层存储
    • Alluxio集成Kodo作为底层存储
    • Alluxio集成Swift作为底层存储
    • Alluxio集成WEB作为底层存储
    • Alluxio集成Minio作为底层存储
    • 阿里云对象存储服务
    • Alluxio集成Ozone作为底层存储
    • Alluxio集成CephFS作为底层存储
  • 安全设置
    • 安全性
  • 运维指南
    • 配置项设置
    • 命令行接口
    • 管理员命令行接口
    • Web界面
    • 日志
    • 度量指标系统
    • 远程记录日志
  • 管理
    • 升级
    • 异常诊断与调试
  • APIs
    • Filesystem API
    • S3 Client
    • POSIX API
    • REST API
    • Python Client
    • 兼容Hadoop的Java
    • Go 客户端
  • 开发者资源
    • 编译Alluxio源代码
    • 开发指南
    • 代码规范
    • 如何开发单元测试
    • 文档规范
  • 参考
    • 配置项列表
    • List of Metrics
  • REST API
    • Master REST API
    • Worker REST API
    • Proxy REST API
    • Job REST API
  • Javadoc
Powered by GitBook
On this page
  • 初始步骤
  • 配置Alluxio
  • 根挂载
  • 嵌套挂载
  • 使用Azure Blob Store本地运行Alluxio
  1. 底层存储系统

Alluxio集成Azure Blob Store作为底层存储

Last updated 6 months ago

该指南介绍了如何配置Alluxio以使用作为底层存储系统。

初始步骤

为了在多台机器上运行一个Alluxio集群,你必须在每台机器上部署Alluxio的二进制文件。 你可以,或者。

此外,为了在Alluxio上使用Azure Blob Store,你需要在Azure storage帐户上创建一个新的container或者使用一个已有的container。还要提供准备在这个container里使用的目录,你可以在这个container里面创建一个目录,或者使用一个已有的目录。在这篇文章中,我们将Azure storage帐户名称为<AZURE_ACCOUNT>,将帐户里的container称为<AZURE_CONTAINER>并将该container里面的目录称为<AZURE_DIRECTORY>。点击查看更多关于Azure storage帐户的信息。

配置Alluxio

根挂载

要使用Azure blob store作为Alluxio根挂载点的UFS,您需要通过修改conf/alluxio-site.properties配置Alluxio使用底层存储系统。如果这个文件不存在,重命名template文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties

首先修改conf / alluxio-site.properties来指定underfs address:

alluxio.master.mount.table.root.ufs=wasb://<AZURE_CONTAINER>@<AZURE_ACCOUNT>.blob.core.windows.net/<AZURE_DIRECTORY>/

其次,将以下属性添加到conf/alluxio-site.properties来指定根挂载点的Azure account证书:

alluxio.master.mount.table.root.option.fs.azure.account.key.<AZURE_ACCOUNT>.blob.core.windows.net=<YOUR ACCESS KEY>

嵌套挂载

Azure blob store位置可以挂载在Alluxio命名空间中的嵌套目录中,以便统一访问到多个底层存储系统。Alluxio的可以用于此目的。

$ ./bin/alluxio fs mount \
  --option fs.azure.account.key.<AZURE_ACCOUNT>.blob.core.windows.net=<AZURE_ACCESS_KEY>\
  /mnt/azure wasb://<AZURE_CONTAINER>@<AZURE_ACCOUNT>.blob.core.windows.net/<AZURE_DIRECTORY>/

完成这些修改后,Alluxio应该已经配置好以使用Azure Blob Store作为底层存储系统,你可以使用它本地运行Alluxio。

使用Azure Blob Store本地运行Alluxio

完成所有配置之后,你可以本地运行Alluxio,观察是否一切运行正常。

./bin/alluxio format
./bin/alluxio-start.sh local

接着,你可以运行一个简单的示例程序:

./bin/alluxio runTests

运行成功后,你可以访问你的容器<AZURE_CONTAINER>,确认其中包含了由Alluxio创建的文件和目录。该测试中,创建的文件名应该像下面这样:

<AZURE_CONTAINER>/<AZURE_DIRECTORY>/default_tests_files/BASIC_CACHE_PROMOTE_CACHE_THROUGH

若要停止Alluxio,你可以运行以下命令:

./bin/alluxio-stop.sh local

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问查看master Web UI。

Azure Blob Store
从Alluxio源码编译二进制文件
直接下载已经编译好的Alluxio二进制文件
这里
用户CLI
http://localhost:19999