List of Metrics

在 Alluxio 中，有两种类型的指标，集群范围内的合计指标和每个进程的详细指标。

集群指标由 leading master 收集和计算的，并且在 web UI 下的指标标签下展示。这些指标旨在提供 Alluxio 服务的集群状态以及数据与元数据总量的快照。
进程指标由每个 Alluxio 进程收集，并通过任何配置的接收器以机器可读的格式暴露出来。进程指标高度详细，旨在被第三方监测工具使用。用户可以通过细粒度的数据面板查看每个指标的时间序列图。比如数据传输量或 RPC 调用次数。

Alluxio 的 master 节点指标具有以下格式：

Master.[metricName].[tag1].[tag2]...

Alluxio 的非 master 节点指标具有以下格式

[processType].[metricName].[tag1].[tag2]...[hostName]

通常情况下，Alluxio 会为每一种 RPC 调用生成一个指标，无论是调用 Alluxio 还是调用下层存储。

标签是指标的附加元数据，如用户名或存储位置。标签可用于进一步筛选或聚合各种特征。

集群指标

Worker 和 client 通过心跳包将指标数据发送到 Alluxio master。心跳间隔分别由 alluxio.master.worker.heartbeat.interval 和 alluxio.user.metrics.heartbeat.interval 属性定义。

字节指标是来自 worker 或 client 的聚合值。字节吞吐量指标是在 master 上计算的。字节吞吐量的值等于字节指标计数器值除以指标记录时间，并以字节/分钟的形式呈现。

名称

类型

描述

所有 Alluxio 服务器和客户端进程共享的指标。

Alluxio 服务器共享的指标。

默认 Master 指标:

动态生成的 Master 指标:

默认 worker 指标:

动态的 worker 指标:

每个客户端度量将使用其本地主机名或配置的 alluxio.user.app.id 进行记录。如果配置了 alluxio.user.app.id，多个客户端可以组合成一个逻辑应用。

Fuse 是长期运行的 Alluxio 客户端。根据启动方式，Fuse 指标将显示为：

Fuse metrics includes:

Fuse 读/写文件数量可用作 Fuse 应用程序压力的指标。如果在短时间内发生大量并发读/写操作，则每个读/写操作可能需要更长的时间来完成。

当用户或应用程序在 Fuse 挂载点下运行文件系统命令时，该命令将由操作系统处理和转换，并触发在 AlluxioFuse 中暴露的相关 Fuse 操作。每个操作被调用的次数以及每次调用的持续时间将使用动态指标名称 Fuse.<FUSE_OPERATION_NAME> 记录。

重要的 Fuse 指标包括：

Fuse相关的指标包括:

Client.TotalRPCClients 显示用于连接到或可连接到 master 或 worker 进行操作的 RPC 客户端的总数。
带有 Direct 关键字的 worker 指标。当 Fuse 嵌入到 worker 进程中时，它可以通过 worker 内部 API 从该 worker 读取/写入。相关指标以 Direct 结尾。例如，Worker.BytesReadDirect 显示该 worker 为其嵌入的 Fuse 客户端提供读取的字节数。
如果配置了 alluxio.user.block.read.metrics.enabled=true，则会记录 Client.BlockReadChunkRemote。该指标显示通过 gRPC 从远程 worker 读取数据的持续时间统计。

Client.TotalRPCClients 和 Fuse.TotalCalls 指标是 Fuse 应用程序当前负载的优秀指标。如果在 Alluxio Fuse 上运行应用程序（e.g. Tensorflow），但这两个指标值比之前低得多，则训练作业可能会卡在 Alluxio 上。

在每个实例（Master、Worker 或 Client）上收集的指标。

Alluxio 提供整体和详细的内存使用信息。每个进程中代码缓存、压缩类空间、元数据空间、PS Eden 空间、PS old gen 以及 PS survivor 空间的详细内存使用信息都会被收集。

以下是内存使用指标的子集：

Last updated 5 days ago