Alluxio
ProductsLanguageHome
DA-3.5 (stable)
DA-3.5 (stable)
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 架构
    • Alluxio 命名空间和底层文件系统命名空间
    • I/O弹性
    • worker管理与一致性哈希
  • 底层存储系统
    • Amazon AWS S3
    • HDFS
    • 腾讯 COS
  • 计算集成
    • 在 K8s 上运行 Trino
    • 在 K8s 上运行 Spark
    • 数据湖连接器
  • Client APIs
    • S3 API
    • Java HDFS 兼容 API
  • 缓存操作
    • 缓存预加载
    • 缓存过滤
    • 缓存驱逐
      • TTL (有效时间)规则
      • 优先级规则
      • 通过命令行释放缓存空间
  • 资源管理
    • 基于目录的集群配额
    • UFS 带宽限制
  • 性能优化
    • 通过副本提高读取吞吐量
    • 读取大文件
    • 元数据列表
    • 数据预拉取
  • 安全
    • TLS 支持
    • Apache Ranger 集成
  • 参考
    • 用户命令行接口
    • 指标
    • S3 API Usage
    • 第三方证书
  • 版本发布说明
Powered by GitBook
On this page
  • 概述
  • UFS 读取速率限制器
  • 配置
  1. 资源管理

UFS 带宽限制

概述

Alluxio 的速率限制器功能旨在控制请求和数据的流量,以确保系统稳定性并优化资源利用率。它通过限制处理的数据量来帮助管理工作负载。

UFS 读取速率限制器

UFS 读取速率限制器限制了单个 Worker 每秒用于 UFS 读取的最大带宽。尽管峰值带宽可能偶尔会超过限制,但平均带宽会保持在强制范围内。 目前支持读取速率限制器的 UFS 包括 HDFS、S3、OSS、COS 和 GCS。

配置

在 alluxio-site.properties 文件中添加以下配置:

# 启用 UFS 读取速率限制器
# 通过此配置,Worker 中读取 UFS 的带宽将被限制为每秒 100MB。
alluxio.worker.data.ufs.read.rate.limit.mb=100

Last updated 1 month ago