Alluxio
ProductsLanguageHome
AI-3.6 (stable)
AI-3.6 (stable)
  • 概览
    • Alluxio 命名空间和底层文件系统
    • worker管理与一致性哈希
    • 多租户和统一管理
    • I/O弹性
  • 部署Alluxio
    • 资源需求和兼容性
    • 安装
      • 在Kubernetes上安装Alluxio
      • 镜像管理
      • 高级配置
      • 许可证
    • 监控和指标
    • 管理控制台
      • 部署
      • 导航控制台
      • 用户角色与访问控制
    • 集群管理
    • 系统健康检查和快速恢复
    • 诊断快照
  • 底层存储系统
    • Amazon AWS S3
    • Azure Blob Store
    • HDFS
    • 阿里云 OSS
    • 腾讯 COS
    • 火山引擎 TOS
    • 谷歌云 GCS
    • 百度智能云对象存储 BOS
    • 网络附加存储 NAS
  • 数据访问
    • 通过 FUSE( POSIX API)访问
      • Client 写回
      • 客户端虚拟路径映射
    • 通过S3 API访问
    • 通过 PythonSDK/FSSpec 访问
    • UFS 带宽限制器
    • 高可用性数据访问
      • 多副本
      • 多可用区(AZ)
    • 性能优化
      • 文件读取
      • 写入文件
      • 元数据列表
  • 缓存管理
    • 缓存加载
    • 缓存过滤策略
    • 缓存驱逐
      • 通过TTL (有效时间)策略自动驱逐缓存
      • 优先级规则
      • 通过Free命令手动驱逐
    • 过期缓存清理
    • 缓存配额
  • 性能基准测试
    • Fio (POSIX)基准
    • MLPerf Storage 基准测试
    • COSBench (S3) 性能基准测试
  • 安全
    • TLS 支持
  • 参考
    • 用户命令行接口
    • 指标
    • REST API
    • S3 API 的使用
    • 第三方授权
  • 版本发布说明
Powered by GitBook
On this page
  • 概述
  • UFS 读取速率限制器
  • 配置
  1. 数据访问

UFS 带宽限制器

概述

Alluxio 的速率限制器功能旨在控制请求和数据的流量,以确保系统稳定性并优化资源利用率。它通过限制处理的数据量来帮助管理工作负载。

UFS 读取速率限制器

UFS 读取速率限制器限制了单个 Worker 每秒用于 UFS 读取的最大带宽。尽管峰值带宽可能偶尔会超过限制,但平均带宽会保持在强制范围内。 目前支持读取速率限制器的 UFS 包括 HDFS、S3、OSS、COS 和 GCS。

配置

在 alluxio-site.properties 文件中添加以下配置:

# 启用 UFS 读取速率限制器
# 通过此配置,Worker 中读取 UFS 的带宽将被限制为每秒 100MB。
alluxio.worker.data.ufs.read.rate.limit.mb=100

Last updated 1 day ago