Alluxio
ProductsLanguageHome
DA-3.5 (stable)
DA-3.5 (stable)
  • 概览
  • 部署Alluxio
    • 资源需求和兼容性
    • 在Kubernetes上安装Alluxio
    • 监控和指标
    • Alluxio 集群操作
    • 系统健康检查和快速恢复
    • 采集集群信息
  • 架构
    • Alluxio 命名空间和底层文件系统命名空间
    • I/O弹性
    • worker管理与一致性哈希
  • 底层存储系统
    • Amazon AWS S3
    • HDFS
    • 腾讯 COS
  • 计算集成
    • 在 K8s 上运行 Trino
    • 在 K8s 上运行 Spark
    • 数据湖连接器
  • Client APIs
    • S3 API
    • Java HDFS 兼容 API
  • 缓存操作
    • 缓存预加载
    • 缓存过滤
    • 缓存驱逐
      • TTL (有效时间)规则
      • 优先级规则
      • 通过命令行释放缓存空间
  • 资源管理
    • 基于目录的集群配额
    • UFS 带宽限制
  • 性能优化
    • 通过副本提高读取吞吐量
    • 读取大文件
    • 元数据列表
    • 数据预拉取
  • 安全
    • TLS 支持
    • Apache Ranger 集成
  • 参考
    • 用户命令行接口
    • 指标
    • S3 API Usage
    • 第三方证书
  • 版本发布说明
Powered by GitBook
On this page
  • DA-3.5-10.2.0
  • 新功能
  • 其他变更

版本发布说明

Last updated 28 days ago

DA-3.5-10.2.0

我们很高兴宣布最新的数据分析专用Alluxio企业版——Alluxio DA 3.5的发布。本次更新包含多项重要改进,包括缓存管理优化、API增强、CVE漏洞修复及操作符升级。

新功能

基于目录的配额管理升级

基于目录的配额管理功能支持用户在目录层级设置资源限制,允许管理员对特定目录强制执行配额。更多信息请参阅。

基于目录的TTL缓存驱逐

新增的基于目录的TTL(存活时间)缓存驱逐功能,允许用户针对特定目录设置缓存条目的过期策略。通过细粒度控制缓存生命周期,确保低频访问目录的数据可在指定时间后自动清除,从而保持缓存内容的新鲜度,优化内存使用并优先保留重要数据。详情请参考。

基于优先级的缓存驱逐

该功能通过为目录分配优先级等级增强缓存管理能力。高优先级数据将优先保留在缓存中,当内存不足时低优先级数据会被优先驱逐。这种手动划分机制有助于保障关键工作负载的性能。深入了解请查看。

UFS流量限制器

新增UFS读取速率限制功能,支持为单个工作节点配置UFS读取操作的每秒最大带宽上限。尽管瞬时带宽可能短暂波动,但平均使用率将被严格控制在设定范围内,确保数据流可控以优化资源利用和系统稳定性。此功能尤其适用于通过限制数据处理速率管理工作负载。详情见。

异构工作节点规格与配置

Alluxio Operator现支持配置不同容量的异构工作节点,为在异构环境中部署Alluxio提供更高灵活性。相关部署规范请查阅,配置选项详见。

S3 API增强

    • HTTP持久连接(又称HTTP长连接)通过复用单一TCP连接处理多个HTTP请求/响应,避免了为每个请求单独建立连接的开销。Alluxio S3 API支持此特性后,4KB S3 ReadObject操作的延迟降低了约40%。

  • 支持分片上传(MPU)

其他变更

log4j2

本次版本弃用了原有的 log4j.properties 配置方式,升级为 log4j2.xml 格式,作为升级log4j整合的一部分。注意:此前通过 conf/log4j.properties自定义日志配置的用户需将配置迁移至conf/log4j2.xml文件,原配置将不再生效。

CVE漏洞修复

通过移除或升级相关依赖包修复了多项高危漏洞,包括:

  • Log4j: 显式排除所有通过间接依赖引入的log4j 1.x版本

  • Zookeeper: 从所有依赖(尤其是Hadoop相关依赖)中彻底移除并显式排除

  • Hadoop: 将Hadoop相关依赖升级至3.3.6版本

基于目录的配额管理文档
基于目录的TTL缓存驱逐文档
基于优先级的缓存驱逐文档
UFS带宽限制文档
安装页面
工作节点管理页面
支持HTTP持久连接(Keep-Alive)