Alluxio集成CephFS作为底层存储
该指南介绍如何配置Alluxio以使用CephFS作为底层文件系统。Alluxio使用CephFS 目前,支持两种不同类型的UFS CephFS:
初始步骤
首先,在你的机器上必须安装Alluxio二进制包。你可以自己编译Alluxio,或者下载二进制包
其次,在你的机器上需要安装以下包:
cephfs-java
libcephfs_jni
libcephfs2
以上,包的安装请参考ceph包安装,
再次,建立软连:
$ ln -s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib64/libcephfs_jni.so
$ ln -s /usr/lib64/libcephfs.so.2.0.0 /usr/lib64/libcephfs.so
$ java_path=`which java | xargs readlink | sed 's#/bin/java/##g'`
$ ln -s /usr/share/java/libcephfs.jar $java_path/jre/lib/ext/libcephfs.jar
最后,下载CephFS Hadoop jar包:
$ curl -o $java_path/jre/lib/ext/hadoop-cephfs.jar -d https://download.ceph.com/tarballs/hadoop-cephfs.jar
配置Alluxio
为了配置Alluxio以使用底层文件系统,需要修改alluxio-site.properties
和core-site.xml
文件。如果文件不存在,根据模板创建配置文件。
$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties
$ cp conf/core-site.xml.template conf/core-site.xml
使用CephFS本地运行Alluxio
完成所有的配置之后,你可以本地运行Alluxio,观察是否一切运行正常。
./bin/alluxio format
./bin/alluxio-start.sh local
该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问http://localhost:19999查看master Web UI。
Last updated