Alluxio
ProductsLanguageHome
  • Alluxio概览
  • 用户指南
    • 快速上手指南
    • 架构
    • FAQ
    • 作业服务器
    • 应用场景
  • 核心功能
    • 缓存
    • 统一命名空间
  • 部署 Alluxio
    • 在Kubernetes上部署Alluxio
    • 本地运行Alluxio
    • 在集群上独立运行Alluxio
    • 在Docker上运行Alluxio
    • 在具有HA的群集上部署Alluxio
    • 使用Docker部署AlluxioFuse加速深度学习训练(试验)
    • 基本要求
  • 云源生
    • Tencent EMR
  • 计算应用
    • Apache Spark
    • Presto
    • Spark on Kubernetes
    • Apache Flink
    • Apache Hadoop MapReduce
    • Presto on Iceberg (Experimental)
    • Trino
    • Apache Hive
    • 深度学习框架
    • Tensorflow
  • 底层存储系统
    • Alluxio集成Amazon AWS S3作为底层存储
    • Alluxio集成GCS作为底层存储
    • Alluxio集成Azure Blob Store作为底层存储
    • Azure Data Lake Storage Gen2
    • Azure 数据湖存储
    • Alluxio集成HDFS作为底层存储
    • Alluxio集成COS作为底层存储
    • Alluxio集成COSN作为底层存储
    • Alluxio集成Ceph Object Storage作为底层存储
    • Alluxio集成NFS作为底层存储
    • Alluxio集成Kodo作为底层存储
    • Alluxio集成Swift作为底层存储
    • Alluxio集成WEB作为底层存储
    • Alluxio集成Minio作为底层存储
    • 阿里云对象存储服务
    • Alluxio集成Ozone作为底层存储
    • Alluxio集成CephFS作为底层存储
  • 安全设置
    • 安全性
  • 运维指南
    • 配置项设置
    • 命令行接口
    • 管理员命令行接口
    • Web界面
    • 日志
    • 度量指标系统
    • 远程记录日志
  • 管理
    • 升级
    • 异常诊断与调试
  • APIs
    • Filesystem API
    • S3 Client
    • POSIX API
    • REST API
    • Python Client
    • 兼容Hadoop的Java
    • Go 客户端
  • 开发者资源
    • 编译Alluxio源代码
    • 开发指南
    • 代码规范
    • 如何开发单元测试
    • 文档规范
  • 参考
    • 配置项列表
    • List of Metrics
  • REST API
    • Master REST API
    • Worker REST API
    • Proxy REST API
    • Job REST API
  • Javadoc
Powered by GitBook
On this page
  • 初始步骤
  • 安装COSN
  • 根目录安装
  • 嵌套目录安装
  • 使用COSN在本地运行Alluxio
  1. 底层存储系统

Alluxio集成COSN作为底层存储

Last updated 7 months ago

该指南介绍如何配置Alluxio以使用腾讯云(Cloud Object Storage,简称:COS)作为底层文件系统。 对象存储是腾讯云提供的面向非结构化数据,支持 HTTP/HTTPS协议访问的分布式存储服务,它能容纳海量数据并保证用户对带宽和容量扩充无感知,可以作为大数据计算与分析的数据池。

初始步骤

通常,Alluxio以集群模式在多个机器上运行。需要在机器上部署二进制包。 你可以自己,或者。

为了在COS上使用Alluxio,需要创建一个bucket(或者使用一个已有的bucket)。然后在该bucket中新建一个目录,或者使用一个存在的目录。 在该指南中,COS Bucket的名称为COSN_ALLUXIO_BUCKET,在该bucket里的目录名称为COSN_DATA。还需提供一个COS的REGION,它们指定了你的bucket在哪个地域,本向导中的REGION名为COSN_REGION。

安装COSN

Alluxio通过统一访问不同存储系统。COSN UFS是用于访问腾讯云对象存储的,其安装位置可以在Alluxio命名空间的根目录或嵌套目录下。

根目录安装

若要在Alluxio中使用COSN作为底层文件系统,需修改conf/alluxio-site.properties和conf/core-site.xml配置文件。首先要指定一个已有的COS bucket和其中的目录作为底层文件系统,可以在conf/alluxio-site.properties中添加如下语句指定它:

alluxio.master.mount.table.root.ufs=cosn://COSN_ALLUXIO_BUCKET/COSN_DATA/

接着,需要指定COS的配置信息以便访问COS,在conf/core-site.xml中添加:

<property>
   <name>fs.cosn.impl</name>
   <value>org.apache.hadoop.fs.CosFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.cosn.impl</name>
  <value>org.apache.hadoop.fs.CosN</value>
</property>
<property>
  <name>fs.cosn.userinfo.secretKey</name>
  <value>xxxx</value>
</property>
<property>
  <name>fs.cosn.userinfo.secretId</name>
  <value>xxxx</value>
</property>
<property>
  <name>fs.cosn.bucket.region</name>
  <value>xx</value>
</property>

嵌套目录安装

$ ./bin/alluxio fs mount --option fs.cosn.userinfo.secretId=<COSN_SECRET_ID> \
    --option fs.cosn.userinfo.secretKey=<COSN_SECRET_KEY> \
    --option fs.cosn.bucket.region=<COSN_REGION> \
    --option fs.cosn.impl=org.apache.hadoop.fs.CosFileSystem \
    --option fs.AbstractFileSystem.cosn.impl=org.apache.hadoop.fs.CosN \
    /cosn cosn://COSN_ALLUXIO_BUCKET/COSN_DATA/

使用COSN在本地运行Alluxio

配置完成后,你可以在本地启动Alluxio,观察一切是否正常运行:

$ ./bin/alluxio format
$ ./bin/alluxio-start.sh local

接着,你可以运行一个简单的示例程序:

$ ./bin/alluxio runTests

运行成功后,访问你的COS目录COSN_ALLUXIO_BUCKET/COSN_DATA,确认其中包含了由Alluxio创建的文件和目录。在该测试中,创建的文件名称应像:

COSN_ALLUXIO_BUCKET/COSN_DATA/default_tests_files/BASIC_CACHE_THROUGH

运行以下命令停止Alluxio:

$ ./bin/alluxio-stop.sh local

以上是最基本的配置,更多配置。更改完成后,Alluxio应该能够将COSN作为底层文件系统运行,你可以尝试

COSN可以安装在Alluxio命名空间中的嵌套目录中,以统一访问多个存储系统。 可以实现这一目的。例如,下面的命令将COSN实例内部的目录挂载到Alluxio的/cosn目录:

以上是最基本的配置,更多配置。

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问查看master UI。

对象存储
编译Alluxio
下载二进制包
统一命名空间
请参考这里
http://localhost:19999
请参考这里
使用COSN在本地运行Alluxio
Mount命令