Alluxio
ProductsLanguageHome
AI-3.5 (stable)
AI-3.5 (stable)
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 架构
    • Alluxio 命名空间和底层文件系统命名空间
    • I/O弹性
    • worker管理与一致性哈希
  • 底层存储系统
    • Amazon AWS S3
    • HDFS
    • 阿里云 OSS
    • 腾讯 COS
    • 火山引擎 TOS
    • 谷歌云 GCS
  • Client APIs
    • 基于 FSSpec 的Alluxio Python Filesystem API
    • 基于 FUSE 的 POSIX API
      • Client 写回
    • S3 API
  • 缓存操作
    • 缓存预加载
    • 缓存过滤
    • 缓存驱逐
      • TTL (有效时间)规则
      • 优先级规则
      • 通过命令行释放缓存空间
  • 资源管理
    • 基于目录的集群配额
    • UFS 带宽限制
  • 性能优化
    • 通过副本提高读取吞吐量
    • 读取大文件
    • 元数据列表
    • 数据预拉取
    • 写入临时文件
  • 安全
    • TLS 支持
  • 性能基准测试
    • Fio 测试概览
    • MLPerf Storage 基准测试
    • COSBench 性能基准测试
  • 参考
    • 用户命令行接口
    • 指标
    • S3 API 的使用
    • 第三方授权
  • 版本发布说明
Powered by GitBook
On this page
  • 概述
  • UFS 读取速率限制器
  • 配置
  1. 资源管理

UFS 带宽限制

概述

Alluxio 的速率限制器功能旨在控制请求和数据的流量,以确保系统稳定性并优化资源利用率。它通过限制处理的数据量来帮助管理工作负载。

UFS 读取速率限制器

UFS 读取速率限制器限制了单个 Worker 每秒用于 UFS 读取的最大带宽。尽管峰值带宽可能偶尔会超过限制,但平均带宽会保持在强制范围内。 目前支持读取速率限制器的 UFS 包括 HDFS、S3、OSS、COS 和 GCS。

配置

在 alluxio-site.properties 文件中添加以下配置:

# 启用 UFS 读取速率限制器
# 通过此配置,Worker 中读取 UFS 的带宽将被限制为每秒 100MB。
alluxio.worker.data.ufs.read.rate.limit.mb=100

Last updated 3 months ago