Alluxio
ProductsLanguageHome
  • Alluxio概览
  • 用户指南
    • 快速上手指南
    • 架构
    • FAQ
    • 作业服务器
    • 应用场景
  • 核心功能
    • 缓存
    • 统一命名空间
  • 部署 Alluxio
    • 在Kubernetes上部署Alluxio
    • 本地运行Alluxio
    • 在集群上独立运行Alluxio
    • 在Docker上运行Alluxio
    • 在具有HA的群集上部署Alluxio
    • 使用Docker部署AlluxioFuse加速深度学习训练(试验)
    • 基本要求
  • 云源生
    • Tencent EMR
  • 计算应用
    • Apache Spark
    • Presto
    • Spark on Kubernetes
    • Apache Flink
    • Apache Hadoop MapReduce
    • Presto on Iceberg (Experimental)
    • Trino
    • Apache Hive
    • 深度学习框架
    • Tensorflow
  • 底层存储系统
    • Alluxio集成Amazon AWS S3作为底层存储
    • Alluxio集成GCS作为底层存储
    • Alluxio集成Azure Blob Store作为底层存储
    • Azure Data Lake Storage Gen2
    • Azure 数据湖存储
    • Alluxio集成HDFS作为底层存储
    • Alluxio集成COS作为底层存储
    • Alluxio集成COSN作为底层存储
    • Alluxio集成Ceph Object Storage作为底层存储
    • Alluxio集成NFS作为底层存储
    • Alluxio集成Kodo作为底层存储
    • Alluxio集成Swift作为底层存储
    • Alluxio集成WEB作为底层存储
    • Alluxio集成Minio作为底层存储
    • 阿里云对象存储服务
    • Alluxio集成Ozone作为底层存储
    • Alluxio集成CephFS作为底层存储
  • 安全设置
    • 安全性
  • 运维指南
    • 配置项设置
    • 命令行接口
    • 管理员命令行接口
    • Web界面
    • 日志
    • 度量指标系统
    • 远程记录日志
  • 管理
    • 升级
    • 异常诊断与调试
  • APIs
    • Filesystem API
    • S3 Client
    • POSIX API
    • REST API
    • Python Client
    • 兼容Hadoop的Java
    • Go 客户端
  • 开发者资源
    • 编译Alluxio源代码
    • 开发指南
    • 代码规范
    • 如何开发单元测试
    • 文档规范
  • 参考
    • 配置项列表
    • List of Metrics
  • REST API
    • Master REST API
    • Worker REST API
    • Proxy REST API
    • Job REST API
  • Javadoc
Powered by GitBook
On this page
  • 基本要求
  • Master要求
  • Worker要求
  • Proxy要求
  • Fuse要求
  • 其他要求
  • Remote Logging Server要求
  1. 部署 Alluxio

基本要求

基本要求

下面是在本地或集群模式下运行Alluxio的基本要求:

  • 集群节点需要运行在以下操作系统之一:

    • MacOS 10.10或更高版本

    • CentOS - 6.8 或 7

    • RHEL - 7.x

    • Ubuntu - 16.04

  • Alluxio需要JDK 8。 不支持更高版本:

    • Java JDK 8(Oracle或OpenJDK发行版都支持)

  • Alluxio仅支持IPv4网络协议

  • 开放以下端口和协议

    • Inbound TCP 22 - 以用户身份ssh进入指定节点上安装Alluxio组件。

Master要求

下面是运行Alluxio Master进程的集群节点所需要的配置。

注意这些是运行最低要求。 大规模高负载下运行Alluxio相应系统要求会随之增加。

  • 最少4 GB硬盘空间

  • 最少4 GB内存

  • 最少4个CPU核

  • 开放以下端口和协议:

    • Inbound TCP 19998-Alluxio master的默认RPC端口

    • Inbound TCP 19999-Alluxio master的默认web UI端口:http://<master-hostname>:19999

    • Inbound TCP 20001-Alluxio job master的默认RPC端口

    • Inbound TCP 20002-Alluxio job master的默认网络UI端口

    • Embedded Journal要求

      • Inbound TCP 19200-Alluxio master用于内部leader选举的默认端口

      • Inbound TCP 20003-Alluxio job master用于内部leader选举的默认端口

Worker要求

下面是运行Alluxio Worker进程的集群节点所需要的配置。

  • 最小1 GB硬盘空间

  • 最少1 GB内存

  • 最少2个CPU核

  • 开放以下端口和协议:

    • Inbound TCP 29999-Alluxio worker的默认RPC端口

    • Inbound TCP 30000-Alluxio worker的默认网络UI端口:http://<worker-hostname>:30000

    • Inbound TCP 30001-Alluxio job worker的默认RPC端口

    • Inbound TCP 30002-Alluxio job worker的默认数据端口

    • Inbound TCP 30003-Alluxio job worker的默认网络UI端口:http://<worker-hostname>:30003

Worker Cache

$ ./bin/alluxio-mount.sh SudoMount workers

Proxy要求

Proxy进程提供一个基于REST的客户端,需要:

  • 最少1 GB内存

  • 开放以下端口和协议:

    • Inbound TCP 39999- clients用来访问Proxy节点。

Fuse要求

下面是Alluxio针对运行fuse进程节点要求

注意这些是运行Alluxio软件最低要求。 大规模负载下运行Alluxio Fuse会增加系统要求。

  • 最少1个CPU核

  • 最少1 GB内存

  • 已安装Fuse

    • libfuse 2.9.3或更高版本(适用于Linux)

    • osxfuse 3.7.1或更高版本(适用于MacOS)

其他要求

Alluxio还可以将日志汇总到一个远程服务器中以便统一查看。 以下是Logging Server的端口和资源要求。

Remote Logging Server要求

下面是Alluxio针对运行Remote Logging Server要求:

  • 最少1 GB硬盘空间

  • 最少1 GB内存

  • 最少2个CPU核

  • 开放以下端口和协议:

    • Inbound TCP 45600 - 以便日志程序将日志写入服务器。

Last updated 7 months ago

需要为Alluxio Workers配置作为缓存的存储空间。 默认情况下Alluxio为Worker提供一个,但是可以对其进行修改以使用其他存储卷的。 通过在alluxio.worker.tieredstore.level%d.dirs.path中提供其他目录,用户可以指定Alluxio使用不同于默认配置的存储介质和目录。 对于希望一开始使用默认配值的用户,使用任何sudo权限帐户运行命令./bin/alluxio-mount.sh SudoMount worker。 注意上述命令应在完成alluxio-site.properties文件中设置alluxio.worker.ramdisk.size并将所有workers添加到conf/workers文件后运行。

RAMFS