控制 UFS 带宽

当Alluxio从底层文件系统(UFS)读取数据时,特别是在缓存预热作业或高缓存未命中期间,流量可能会压垮UFS。这可能会影响依赖于同一UFS的其他应用程序。为防止这种情况,Alluxio允许您限制每个worker上的UFS读取带宽。

工作原理

UFS读取速率限制器限制了来自单个Alluxio worker的所有UFS读取的每秒最大带宽。虽然峰值带宽可能偶尔会在非常短的突发中超过配置的限制,但平均带宽将被限制在指定的速率。

目前,以下UFS连接器支持此功能:

  • HDFS

  • 亚马逊S3

  • 谷歌云存储(GCS)

  • 阿里云OSS

  • 腾讯云COS

配置

要启用UFS读取速率限制器,请在每个worker的alluxio-site.properties中设置以下属性。该值以兆字节/秒(MB/s)为单位指定。

# Limit UFS read bandwidth to 100 MB/s per worker
alluxio.worker.data.ufs.read.rate.limit.mb=100

默认情况下,此功能是禁用的(无限制)。设置此属性将启用具有指定带宽上限的限制器。

Last updated