Ctrlk
Home

百度对象存储

本指南介绍了如何将百度对象存储 (BOS) 配置为 Alluxio 的底层存储系统。百度对象存储 (BOS) 提供稳定、安全、高效且高度可扩展的存储服务。

先决条件

在使用 BOS 和 Alluxio 之前，请按照 BOS 入门流程注册 BOS 并创建一个 BOS 存储桶。

在开始之前，请确保您已具备下列所需信息：

<BOS_BUCKET>

创建一个新的 BOS 存储桶或使用现有的存储桶

<BOS_DIRECTORY>

您希望在存储桶中使用的目录，可以通过创建新目录或使用现有目录来实现

<BOS_ACCESS_KEY_ID>

BOS 的访问密钥 ID， 在BOS AccessKey 管理控制台中创建和管理

<BOS_ACCESS_KEY_SECRET>

BOS 的秘密访问密钥， 在BOS AccessKey 管理控制台中创建和管理

<BOS_ENDPOINT>

存储桶的互联网端点，可以在存储桶概览页面中找到，其值为 bj.bcebos.com 和 gz.bcebos.com。 可用端点在区域与端点中列出。

<BOS_REGION>

存储桶所在的区域，例如 cn-beijing 或 cn-guangzhou。 可用区域在区域与端点中列出。

基本设置

通用挂载机制和 UnderFileSystem CR 字段参考，请参阅底层存储。

使用 operator 创建 BOS 挂载点的 ufs.yaml 示例：

apiVersion: k8s-operator.alluxio.com/v1
kind: UnderFileSystem
metadata:
  name: alluxio-bos
  namespace: alx-ns
spec:
  alluxioCluster: alluxio-cluster
  path: bos://<BOS_BUCKET>/<BOS_DIRECTORY>
  mountPath: /bos
  mountOptions:
    fs.bos.accessKeyId: <BOS_ACCESS_KEY>
    fs.bos.accessKeySecret: <BOS_ACCESS_KEY_SECRET>
    fs.bos.endpoint: <BOS_ENDPOINT>

高级设置

请注意，配置选项可以指定为挂载选项或 conf/alluxio-site.properties 中的配置属性。以下部分将介绍如何将配置设置为属性，但它们也可以通过 --option <key>=<value> 设置为挂载选项。

启用 HTTPS

要启用 HTTPS 协议以与 BOS 进行安全通信，并为数据传输提供额外的安全层，请在 conf/alluxio-site.properties 中配置以下设置：

BOS 分段上传

我们使用分段上传方法通过多个部分上传一个文件，每个部分将在一个线程中上传。上传时不会生成任何临时文件。

您可以在 conf/alluxio-site.properties 中指定其他参数，以可能加快上传速度。

禁用 BOS 分段上传，上传方法会一次性从头到尾完整上传一个文件。您需要修改 conf/alluxio-site.properties 以包含：

设置请求重试策略

适用于所有对象存储 UFS 类型的重试配置，请参阅 UFS 概览中的请求重试策略。

高并发调整

将 Alluxio 与 BOS 集成时，您可以通过调整以下配置来优化性能：

  • alluxio.underfs.bos.connection.max：控制与 BOS 的最大连接数。默认值为 1024。

  • alluxio.underfs.bos.io.threads.num：控制与 BOS 的 IO 线程。默认值为 256。

  • alluxio.underfs.bos.socket.timeout：控制与 BOS 的套接字超时。默认值为 50 秒。

  • alluxio.underfs.bos.connect.timeout：控制与 BOS 的连接超时。默认值为 50 秒。

Last updated