Alluxio
ProductsLanguageHome
  • Alluxio概览
  • 用户指南
    • 快速上手指南
    • 架构
    • FAQ
    • 作业服务器
    • 应用场景
  • 核心功能
    • 缓存
    • 统一命名空间
  • 部署 Alluxio
    • 在Kubernetes上部署Alluxio
    • 本地运行Alluxio
    • 在集群上独立运行Alluxio
    • 在Docker上运行Alluxio
    • 在具有HA的群集上部署Alluxio
    • 使用Docker部署AlluxioFuse加速深度学习训练(试验)
    • 基本要求
  • 云源生
    • Tencent EMR
  • 计算应用
    • Apache Spark
    • Presto
    • Spark on Kubernetes
    • Apache Flink
    • Apache Hadoop MapReduce
    • Presto on Iceberg (Experimental)
    • Trino
    • Apache Hive
    • 深度学习框架
    • Tensorflow
  • 底层存储系统
    • Alluxio集成Amazon AWS S3作为底层存储
    • Alluxio集成GCS作为底层存储
    • Alluxio集成Azure Blob Store作为底层存储
    • Azure Data Lake Storage Gen2
    • Azure 数据湖存储
    • Alluxio集成HDFS作为底层存储
    • Alluxio集成COS作为底层存储
    • Alluxio集成COSN作为底层存储
    • Alluxio集成Ceph Object Storage作为底层存储
    • Alluxio集成NFS作为底层存储
    • Alluxio集成Kodo作为底层存储
    • Alluxio集成Swift作为底层存储
    • Alluxio集成WEB作为底层存储
    • Alluxio集成Minio作为底层存储
    • 阿里云对象存储服务
    • Alluxio集成Ozone作为底层存储
    • Alluxio集成CephFS作为底层存储
  • 安全设置
    • 安全性
  • 运维指南
    • 配置项设置
    • 命令行接口
    • 管理员命令行接口
    • Web界面
    • 日志
    • 度量指标系统
    • 远程记录日志
  • 管理
    • 升级
    • 异常诊断与调试
  • APIs
    • Filesystem API
    • S3 Client
    • POSIX API
    • REST API
    • Python Client
    • 兼容Hadoop的Java
    • Go 客户端
  • 开发者资源
    • 编译Alluxio源代码
    • 开发指南
    • 代码规范
    • 如何开发单元测试
    • 文档规范
  • 参考
    • 配置项列表
    • List of Metrics
  • REST API
    • Master REST API
    • Worker REST API
    • Proxy REST API
    • Job REST API
  • Javadoc
Powered by GitBook
On this page
  • 日志
  • 配置
  • 格式化
  • 备份
  • 恢复
  1. 运维指南

日志

日志

Alluxio维护日志,以支持元数据操作的持久性。当请求修改Alluxio状态时,例如创建或重命名文件在返回之前, Alluxio将为操作写一个日志条目对客户的成功回应。日记条目是写向持久存储,如磁盘或HDFS,所以即使是Alluxio master进程被终止, 状态将在重新启动时恢复。

配置

要为日志设置的最重要的配置值是alluxio.master.journal.folder。这必须设置为所有主服务器都可以使用的共享文件系统。 在单主节点模式下,直接使用本地文件系统路径是可行的。对于分布在不同机器上的多个主目录,共享文件夹应该位于支持flush的分布式系统中, 比如HDFS或NFS。不建议将日志放在对象存储中。对于对象存储,对日志的每一次更新都需要创建一个新对象, 这对于大多数紧急的用例来说是非常缓慢的。

配置示例: 使用HDFS来存储日志:

alluxio.master.journal.folder=hdfs://[namenodeserver]:[namenodeport]/dir/alluxio_journal

使用本地文件系统来存储日志:

alluxio.master.journal.folder=/opt/alluxio/journal

格式化

第一次启动Alluxio master节点时,日志必须格式化。

警告: 格式化日志将会删除Alluxio所有元数据

$ ./bin/alluxio formatMaster

备份

Alluxio支持对日志进行备份,以便可以将Alluxio元数据恢复到以前的时间点。 生成备份会在备份发生时导致服务临时不可用。

使用 fsadmin backup命令生成备份。

$ ./bin/alluxio fsadmin backup

默认情况下,这将编写一个名为alluxio-journal-YYYY-MM-DD-timestamp.gz的备份指向文件系统下根目录的"/alluxio_backups"目录, 例如:hdfs://cluster/alluxio_backups。这个默认的备份目录可以通过设置alluxio.master.backup.directory来配置。

alluxio.master.backup.directory=/alluxio/backups

恢复

要从日志备份中恢复Alluxio系统,请停止系统,格式化, 然后重新启动系统,使用 -i(import) 标志传递备份的URI。

$ ./bin/alluxio-stop.sh masters
$ ./bin/alluxio formatMaster
$ ./bin/alluxio-start.sh -i <backup_uri> masters

<backup_uri> 应该是对所有主机都可用的完整URI路径, e.g. hdfs://[namenodeserver]:[namenodeport]/alluxio_backups/alluxio-journal-YYYY-MM-DD-timestamp.gz

如果恢复成功,您应该会在master节点主日志中看到一行日志消息

INFO AlluxioMasterProcess - Restored 57 entries from backup

Last updated 6 months ago

查看 获取写备份文件具体位置的额外配置。

备份指令