作业服务器

架构概览

Alluxio 作业服务器是负责将各种不同类型的操作分配给Job Worker的任务调度框架。

Master负责将作业分配为更小的任务，供Job Worker执行并管理作业的完成状态。

Job Worker将来自Job Master的任务排列（queue)，并通过管理可配置的固定线程池(alluxio.job.worker.threadpool.size)来完成这些任务。

不同类型的作业

迁移 Migrate

fs distributedCpCLI命令中使用了迁移作业，使用固定的写入类型进行数据复制/移动。

持久化 Persist

fs persist CLI命令间接使用了持久化作业，以ASYNC_THROUGH写入类型写入Alluxio时使用持久化作业在后台进行持久化。

该作业负责将Alluxio中的文件持久化到特定的ufs路径中。

驱逐 Evict

fs free CLI命令和后台复制进程间接使用了驱逐作业。

该作业负责从Alluxio中驱逐出特定数量的数据块副本。

移动 Move

复制后台进程使用移动作业将数据块从一个worker移动到另一个worker。

复制 Replicate

后台复制进程使用复制作业将数据块从一个worker复制到特定数量的其他worker上。

巡检命令

作业服务器提供以下一系列的巡检命令。

fsadmin report jobservice

fsadmin report jobservice 会报告作业服务器摘要。

$ ./bin/alluxio fsadmin report jobservice
Worker: MigrationTest-workers-2  Task Pool Size: 10     Unfinished Tasks: 1303   Active Tasks: 10     Load Avg: 1.08, 0.64, 0.27
Worker: MigrationTest-workers-3  Task Pool Size: 10     Unfinished Tasks: 1766   Active Tasks: 10     Load Avg: 1.02, 0.48, 0.21
Worker: MigrationTest-workers-1  Task Pool Size: 10     Unfinished Tasks: 1808   Active Tasks: 10     Load Avg: 0.73, 0.5, 0.23

Status: CREATED   Count: 4877
Status: CANCELED  Count: 0
Status: FAILED    Count: 1
Status: RUNNING   Count: 0
Status: COMPLETED Count: 8124

10 Most Recently Modified Jobs:
Timestamp: 10-28-2020 22:02:34:001       Id: 1603922371976       Name: Persist             Status: COMPLETED
Timestamp: 10-28-2020 22:02:34:001       Id: 1603922371982       Name: Persist             Status: COMPLETED
(only a subset of the results is shown)

10 Most Recently Failed Jobs:
Timestamp: 10-24-2019 17:15:22:946       Id: 1603922372008       Name: Persist             Status: FAILED

10 Longest Running Jobs:

job ls

job ls 会列出正在作业服务器上运行或运行过的作业。

$ ./bin/alluxio job ls
1613673433925   Persist    COMPLETED
1613673433926   Persist    COMPLETED
1613673433927   Persist    COMPLETED
1613673433928   Persist    COMPLETED
1613673433929   Persist    COMPLETED

job stat -v <job_id>

job stat -v <job_id> 会列出某个作业的详细信息。（加 -v 表示包含worker上指定任务的信息）

bin/alluxio job stat -v 1613673433929
ID: 1613673433929
Name: Persist
Description: PersistConfig{filePath=/test5/lib/alluxio-underfs-cosn-2.5.0-SNAPSHOT.jar, mountId=1, overwrite=false, ufsPath=...
Status: COMPLETED
Task 0
	Worker: 192.168.42.71
	Status: COMPLETED