使用Docker部署AlluxioFuse加速深度学习训练（试验）
Last updated
Last updated
本指南介绍读者如何使用基于JNI(Java Native Interface)的实验版的AlluxioFuse来优化机器学习任务的云端IO性能。 该实验版AlluxioFuse同默认Alluxio发行版中的基于JNR实现的AlluxioFuse相比还有一些局限性。 我们正在持续解决兼容性和优化稳定性和速度等问题。欢迎试用并提出建议。 本实验版AlluxioFuse当前仅通过容器镜像交付。
用户空间文件系统（Filesystem in Userspace， 简称FUSE）是一个面向类Unix系统的软件接口，它使得普通用户无需更改内核代码就能创建自己的文件系统[2]。 FUSE包括kernel提供的内核模块和用户态的libfuse库。libfuse库提供了一套标准的文件系统接口。
Alluxio基于这套文件系统接口实现了简单易用的AlluxioFuse。AlluxioFuse给予了Alluxio更多易用性和灵活性，使得Alluxio能够扩展到更多场景。 由于libfuse基于C，而Alluxio基于Java，我们可以采用JNI或者JNR等不同方式使Alluxio对接libfuse。 本实验版本是使用JNI来直接对接Alluxio和libfuse，而不是Alluxio发行版默认的JNR。
安装Docker
下载预生成的Aluxio Docker镜像：镜像信息如下表所示。Alluxio master和Alluxio worker使用下表中第一个镜像，而Alluxio fuse则使用第二个镜像。Alluxio fuse运行环境与Alluxio master等有差异，它还额外依赖于libfuse库，所以它们使用不同的镜像。
| REPOSITORY | TAG |
|---|---|
在主机上创建文件夹underStorage作为Alluxio的底层存储系统
在主机上创建文件夹/mnt/ramdisk，并挂载为ramfs，注意添加ramfs的读写权限
在这个示例中，ramfs的大小设置为了1G，也可以根据实验环境设置为其他数值。 此后在Worker的设置中，交给Worker管理的堆外内存大小需要与其一致。
在主机上启动alluxio-master
命令参数说明：
-u=0表示以root身份运行
--net=host指定容器共享主机的network namespace
-v $PWD/underStorage:/opt/alluxio/underFSStoragee表示宿主机和Docker容器共享底层存储层文件夹
-e ALLUXIO_JAVA_OPTS中设置Alluxio的配置项，其中alluxio.master.mount.table.root.ufs设置了底层存储系统文件夹
在主机上启动alluxio-worker
命令参数说明：
--shm-size=1G：设置容器的共享内存大小，与alluxio.worker.ramdisk.size（ALLUXIO_JAVA_OPTS中设置）和RAMFS的大小（1G）保持一致
-v /mnt/ramdisk:/opt/ramdisk：和Docker容器共享主机的ramdisk
-e ALLUXIO_RAM_FOLDER=/opt/ramdisk：通知worker如何定位ramdisk
在主机上创建文件夹/mnt/alluxio-fuse，AlluxioFuse会数据集挂载在这个路径下：
在宿主机上启动alluxio-fuse，注意容器挂载路径是/mnt（而不是/mnt/alluxio-fuse）。
命令参数说明：
-v /mnt:/mnt:rshared：容器共享宿主机的/mnt文件夹，Alluxio中的数据将会挂载到/mnt/alluxio-fuse
--cap-add SYS_ADMIN：赋予容器SYS_ADMIN权限
--device /dev/fuse：容器共享宿主机的设备/dev/fuse
--fuse-opts=kernel_cache：设置FUSE参数，kernel_cache表示使用page cahce
在alluxio-master容器里往Alluxio添加文件
查看alluxio-fuse容器的挂载点/mnt/alluxio-fuse
可在主机上通过挂载点直接访问Alluxio中的文件，说明Alluxio集群已成功部署。
在FUSE层和Alluxio层都能进一步调优，下面分别介绍。
除了一些通用的Alluxio调优手段外，针对AlluxioFuse，我们增加了额外的配置项进行优化。AlluxioFuse优化主要分为两部分。
初始的Alluxio基于jnr-fuse实现AlluxioFuse，为解决性能和稳定性问题，我们基于jni-fuse实现了AlluxioJniFuse，可支持kernel_cache模式。通过设置alluxio.fuse.jnifuse.enabled在两者间切换，建议设置为true。
注意：目前AlluxioJniFuse正处于实验阶段，不支持写入，只支持读取。
alluxio.fuse.jnifuse.enabled
在高并发和kernel_cache模式下，由于kernel的prefetch机制和FUSE的daemon多线程并发访问机制，可能破坏文件的顺序读特性，导致Alluxio产生频繁的seek gRPC请求，进而大幅降低性能。启用client端缓存可一定程度解决这个问题。
配置项alluxio.user.client.cache.enabled决定了是否启用client端缓存，建议仅在IO压力特别大的情况下启用。若启用client端cache，还有其他配套参数可以调整，包括cache的类型、cache的存储目录、页大小和容量上限。在深度学习任务中，比较通用的配置是将cache类型设置为MEMORY，页大小设置为2MB，容量上限设置为2000MB，然后通过观测cache的命中率（通过alluxio-fuse日志查看）和JVM的GC情况来适当调整页大小和cache容量。
alluxio.user.client.cache.enabledalluxio.user.client.cache.store.typealluxio.user.client.cache.diralluxio.user.client.cache.page.sizealluxio.user.client.cache.size
在阿里云平台基于k8s集群搭建了4机八卡深度学习训练环境，优化深度学习训练的IO性能。
4台V100（高配GPU机型），一共32块GPU卡
使用ResNet-50模型在ImageNet数据集上测试，ImageNet数据集总大小144GB，数据以TFRecord格式存储，每个TFRecord大小约130MB。每个GPU的batch_size设置为256
数据集可从这里下载
数据集存储在Aliyun OSS，Alluxio将OSS作为底层存储系统，模型训练程序通过AlluxioFuse读取数据
Kubernetes集群（version >= 1.8）
helm（version >= 3.0）
Alluxio Docker镜像（由阿里云提供）
若设置RAMFS的挂载路径为/ram/alluxio，则需在kubernetes集群的每台机器上，挂载RAMFS：
RAMFS的size具体大小，应视机器配置和训练任务需求而定。
集群使用Aliyun OSS作为Alluxio的底层文件系统，详细配置过程参见在OSS上配置Alluxio。
使用helm部署Alluxio集群，需要先下载helm chart，我们使用0.14.0版，若使用其他更老版本可能存在适配问题：
在配置中，至少应指定Alluxio和Alluxio-fuse的镜像（直接使用阿里云镜像），Alluxio的底层文件系统（阿里云OSS）和Alluxio的RAMFS。如下的config.yaml文件是未使用任何参数优化情况下，部署Alluxio集群所需最简配置。
helm安装Alluxio集群时，指定前述的集群配置文件config.yaml和helm chart压缩包alluxio-0.14.0.tgz。
等待Alluxio集群部署一定时间后，查看kubernetes pod：
在配置为四机八卡的kubernetes集群上，应该有1个alluxio-master、4个alluxio-worker和4个alluxio-fuse在运行。
在集群任意一台机器查看alluxio-fuse挂载路径：
可见OSS云端数据集已成功挂载到这台机器。之后，用户便可像操作本地文件一样，在挂载数据集上运行深度学习等任务。
如果直接使用上述最简配置，alluxio-fuse读取性能难以满足深度学习训练需求。在此实例中，我们基于这个深度学习训练环境，全面优化了Alluxio集群的配置，如下所示：
上述优化涵盖了FUSE、JVM和Alluxio，最终为深度学习训练速度带来了巨大的提升。在深度学习训练时间上，使用Alluxio需要65分钟，作为对比的云上SSD则需要110分钟，提升达40%。
在本文中，我们介绍了Alluxio和FUSE的技术背景，以及AlluxioFuse的应用价值，接着我们介绍了如何通过Docker镜像的方式在单机上快速部署AlluxioFuse，然后从FUSE和Alluxio层分别分析了AlluxioFuse调优方法，最后在阿里云上基于kubernetes集群部署四机八卡深度学习训练环境，提升深度学习训练速度。
为进一步提升AlluxioFuse性能，我们还在持续优化AlluxioFuse，欢迎各位尝试目前提供的阿里云实验版本镜像！
[1] alluxio: Alluxio概览, https://docs.alluxio.io/os/user/stable/cn/Overview.html.
[2] wikipedia: FUSE, https://zh.wikipedia.org/wiki/FUSE.
[3] 阿里云容器平台：阿里云容器服务团队实践——Alluxio 优化数倍提升云上 Kubernetes 深度学习训练性能, https://www.infoq.cn/article/FLMjB7A7jD2aAWvg6Xjb.
| 配置项 | 默认值 | 调优建议 | 描述 |
|---|---|---|---|
| 属性名 | 默认值 | 调优建议 | 描述 |
|---|---|---|---|
| 属性名 | 默认值 | 描述 |
|---|---|---|
registry.cn-huhehaote.aliyuncs.com/alluxio/alluxio
2.3.0-SNAPSHOT-b7629dc
registry.cn-huhehaote.aliyuncs.com/alluxio/alluxio-fuse
2.3.0-SNAPSHOT-b7629dc
direct_io
不要设置
开启direct_io模式，内核不会主动缓存和预读；当IO负载压力特别高时，direct_io模式下可能存在稳定性问题。
kernel_cache
建议启用
开启kernel_cache，使用更多的系统缓存，同时提升文件读取速度。
max_read=N
131072
使用默认值
FUSE单次request能读取文件的大小上限。这个值在kernel被设置为32个pages，在i386上，为131072，或者说128kbytes。
attr_timeout=N
1.0
7200
设置文件属性（struct inode）被缓存的时间（单位：second）。增加inode缓存时间可减少FUSE文件元数据操作，提升性能。
entry_timeout=N
1.0
7200
设置文件项（struct dentry）被缓存的时间（单位：second）。增加entry缓存时间可减少FUSE文件元数据操作，提升性能。
max_idle_threads
10
视任务而定
libfuse用户态daemon线程的最大闲置数量。在高并发下，这个属性过小会导致FUSE频繁创建销毁线程。建议视用户进程的IO活跃度配置。注意：libfuse 2并未提供这个参数，在alluxio-fuse容器镜像中，我们修改了libfuse代码，并通过环境变量的方式修改这个参数。
true
true
使用jnifuse(true)，否则使用jnrfuse(false)。
false
是否启用client端cache。因为会产生额外的资源消耗，建议仅在IO压力特别高的场景下启用。
LOCAL
LOCAL设置client端cache的页存储类型，可选：{LOCAL, MEMORY, ROCKS}。LOCAL表示所有页存储在一个目录（通过`alluxio.user.client.cache.dir`指定）；ROCKS使用rocksDB来持久化数据；MEMORY将所有页存储在Java堆内存中。推荐使用MEMORY。
/tmp/alluxio_cache
client端cache存储目录（在LOCAL和ROCKS下有效）。一般将这个目录挂载为ramfs，提升cache访问速度。
1MB
client端cache的页大小。在调优时，可优先尝试2MB，4MB和8MB。注意：页大小设置过大可能导致JVM频繁GC；而太小则可能导致cache命中率过低。建议调优时，通过观察GC情况和cache命中率适当调整。
512MB
client端cache的容量上限。MEMORY模式下，建议设置在1800MB以内。