DoorDash 每年通过使用 Amazon S3 Storage Lens 节省数百万美元 存储博

DoorDash 利用 Amazon S3 Storage Lens 每年节省数百万美元

关键要点

DoorDash 是一家在全球 25 个国家提供服务的外送平台，连接消费者和他们喜爱的本地商家。作为一家“出生于云端”的公司，DoorDash 的大部分基础设施，包括其商业平台，都托管在 AWS 上。该平台支持客户下单、商家履行订单和送货员进行配送的整个生态系统。DoorDash 的平台经过设计，能够达到最高的规模和性能，以支持迅速扩展的业务需求。其商业平台访问一个大型数据湖，其中包含异构事件数据、商家目录中的图像、已送达商品的照片、实时地理位置信息以及其他与订单相关的数据对象。

随着 DoorDash 订单量的增加，存储在 Amazon S3 上的数据湖的成本也不断上升。DoorDash 选择使用 Amazon S3，因为他们需要一种高耐久性和高可用性的存储解决方案，同时也具备成本效益。DoorDash 的云财务运营FinOps团队负责确保云资源的高效使用，该团队认定数据存储是导致成本加速增长的关键因素。Cloud FinOps 团队需要一种可扩展的可观察性解决方案来监控 Amazon S3 的存储使用情况和活动，并发现优化的机会。为此，他们选择了 S3 Storage Lens，这是一项提供对象存储使用情况、活动趋势及可操作性建议的 S3 功能，以优化成本和应用数据保护最佳实践。

在本文中，我们将讨论 DoorDash 如何利用 S3 Storage Lens 产生的洞察来实施存储优化策略。我们还将详细介绍如何使用 S3 Storage Lens 获得这些洞察。借助于 S3 Storage Lens 的洞察和存储优化策略，DoorDash 实现了 Amazon S3 使用量增长 26 倍，同时单位成本减少 30，每年节省数百万美元。

“一旦我们决定深入挖掘 Amazon S3 使用情况，以识别支持未来增长的效率机会，我们便开始利用 S3 Storage Lens 的高级指标和建议进行调查。分析 S3 存储桶、前缀和存储类别级别的存储使用及活动模式的能力，对于识别优化成本的机会至关重要。没有 S3 Storage Lens，我们需要花费更多时间来检查和可视化 Amazon S3 使用情况，并改善我们的存储单位经济效益。” Levon Stepanian，DoorDash 云 FinOps 负责人

什么是 Amazon S3 Storage Lens？

S3 Storage Lens 是首个云存储分析解决方案，提供跨组织数百或数千个帐户的对象存储使用与活动的统一视图。它具有多级汇总的深入挖掘能力。S3 Storage Lens 为 Amazon S3 存储使用和活动提供超过 60 项指标，展现在 Amazon S3 控制台的交互式仪表盘中。所有 Amazon S3 用户均可无额外费用访问 S3 Storage Lens 的交互式仪表盘，其中包含可视化存储趋势的预配置视图。默认情况下，S3 Storage Lens 在存储桶级别提供 28 项指标，并在仪表盘中显示 14 天的历史数据。

通过升级到 Storage Lens Advanced，用户可以获得 35 项附加指标和 15 个月的历史数据。这些附加指标可用于指导各种优化步骤，例如扩展 S3 生命周期策略以实现更高的成本优化，识别缺乏数据保护政策的存储桶，以及提高应用程序工作负载的性能。除了额外指标外，Storage Lens Advanced 还提供前缀级别汇总、Amazon CloudWatch 指标支持，以及 S3 Storage Lens 组的自定义对象元数据过滤。

通过 S3 Storage Lens 识别的成本优化机会

通过 S3 Storage Lens，DoorDash 能够识别其最大存储桶的最佳存储类别，并确保恰当地应用 S3 生命周期规则。

机会一：为最大存储桶选择最佳存储类别

借助 S3 Storage Lens 的概览标签，DoorDash 的云 FinOps 团队能够迅速识别出负责大多数存储使用的前置存储桶和前缀。凭借这一知识，团队可以审核每个存储桶的 Amazon S3 存储类别配置，而无需查看存储在其源代码库或基础架构即代码IaC中的存储桶配置。团队还可以使用 S3 Storage Lens 的活动指标审查和可视化活动例如 PUT、GET 等的计数。通过利用这些数据，团队可以快速识别出可以移动到更优存储类别的存储桶。

图1：启用压缩的 S3 存储桶，减缓存储增长

在结合成本数据后，云 FinOps 团队为每个存储桶识别出最佳存储类别，联系相关团队确认拟议的存储类别更改并将其应用。对于访问模式不明确的存储桶，选择了 S3 IntelligentTiering，而对于一次写入、少量读取的数据，则选择 S3 Glacier Flexible Retrieval。一些团队还能够修改其客户端代码，在写入 Amazon S3 之前对对象进行压缩，直接将对象写入 S3 IntelligentTiering，从而避免 S3 生命周期迁移成本。

图2：由 S3 标准转换到 S3 Glacier Flexible Retrieval 的 S3 存储桶，提高单位成本

一般而言，可以使用活动指标了解访问模式的规律性，并通过活动指标发现不再被访问的存储桶。在存储 Lens 仪表盘配置中，您需要启用活动指标才能查看活动指标。要快速找出冷存储桶，可以使用 Storage Lens 仪表盘中的存储桶气泡分析部分。选择总存储、取回率百分比和平均对象大小指标作为气泡图的X 轴、Y 轴和大小。寻找取回率接近于零或零的存储桶，并观察其相对存储大小。接下来，您可以识别您账户或组织中冷存储桶的所有者，了解这些存储是否依然需要。然后，通过配置 S3 生命周期过期配置或将数据归档到 Amazon S3 Glacier 存储类别来优化成本。为了确保今后该过程自动化，您可以 通过 S3 生命周期配置自动迁移数据 ，或启用 S3 IntelligentTiering 的自动归档。该方法也可用于识别热存储桶。通过此方法，可以确保这些存储桶使用最符合其请求性能和成本效果的 S3 存储类别。

图3：使用气泡分析图识别冷存储桶

机会二：识别缺少 S3 生命周期规则的存储桶

在解决一些简单的优化机会后，云 FinOps 团队希望深入挖掘，主动确保存储最佳实践的一致应用。为了更深入地了解他们的数据湖存储，DoorDash 启用了 S3 Storage Lens 高级指标中提供的成本优化指标类别。S3 Storage Lens 提供 S3 生命周期规则计数指标，您可以利用这些指标识别缺少 S3 生命周期规则的存储桶，如上图所示。这些成本优化指标为云 FinOps 团队提供了一种可扩展的方法来识别未遵循存储优化最佳实践的存储桶，例如未使用 S3 生命周期配置。S3 生命周期配置是一组定义 Amazon S3 对一组对象采取的操作的策略。例如，DoorDash 希望对大型不完整的分段上传存储桶应用 S3 生命周期策略，使这些对象在七天后自动过期。此外，他们希望启用 Amazon S3 版本控制的存储桶应用 S3 生命周期策略，将非当前版本的对象转移到归档存储类别。在利用 S3 Storage Lens 的成本优化指标时，DoorDash 能够轻松编制缺少这些规则的所有存储桶的列表。团队与这些存储桶的所有者联系，以验证调查结果并实施确保 Amazon S3 存储优化最佳实践一致应用的变更。

图4：实施前缀级保留策略以消除不必要的存储

在 S3 Storage Lens 仪表盘中查看 S3 生命周期规则计数指标时，您需要启用 高级成本优化指标。没有 S3 生命周期配置的存储桶可能包含您不再需要的存储或可以迁移到较低成本存储类别的存储。您还可以利用 S3 生命周期规则计数指标识别缺少特定类型 S3 生命周期规则的存储桶，比如过期或转移规则。要查找没有 S3 生命周期规则的存储桶，您可以使用 没有 S3 生命周期规则的总存储桶 指标。要识别特定存储桶，可以使用 S3 Storage Lens 仪表盘中的 Top N 概述 部分。默认情况下，Top N 概述部分显示前 3 个存储桶的指标。在 Top N 字段中，可以增加存储桶的数量。Top N 概述部分还显示与前一天或前一周的百分比变化和一个火花线图以可视化趋势。此趋势对于免费指标为 14 天，对于高级指标和建议则为 30 天。

通过这种方法，您可以查看缺少 S3 生命周期规则的存储桶最多的账户，按 AWS 区域查看缺少 S3 生命周期规则的存储桶，并查看哪些存储桶缺少 S3 生命周期规则。S3 Storage Lens 还允许您深入挖掘到更深的聚合层级，比如账户、AWS 区域、存储类别或存储桶。此外，您还可以识别特定的 S3 生命周期规则，如 转移生命周期规则计数、过期生命周期规则计数、非当前版本转移生命周期规则计数、非当前版本过期生命周期规则计数、终止不完整分段上传生命周期规则计数 和 总生命周期规则计数。识别出没有 S3 生命周期规则的存储桶后，您可以添加 S3 生命周期规则。有关更多信息，请查看 如何设置存储桶的 S3 生命周期配置 和 S3 生命周期配置的示例。

图5：利用生命周期规则计数指标识别缺少正确规则的存储桶

结论

通过使用 S3 Storage Lens Advanced，DoorDash 发现了成功增长 Amazon S3 使用量所需的洞察，其使用量提高了 26 倍，同时单位成本降低了 30。这些节省被用于再投资于未来的项目。从长远来看，DoorDash 致力于继续使用 S3 Storage Lens Advanced 持续监测他们的 Amazon S3 存储使用，以确保最大限度地提高存储支出的价值。

“我们能够从这次 Amazon S3 审计工作中吸取教训，并推动治理进入我们的新自助工具，以进行 S3 存储桶管理。新创建的 S3 存储桶默认可以选择修改放在冷存储中，并实施 S3 生命周期政策，以实施适当的数据保留策略和清理未完成的分段上传，同时禁用 S3 版本控制。S3 Storage Lens 提供的集中可观察性简化了存储优化过程，目标明确的指标确保我们发现了显著的存储成本节省。我们期待与 Amazon S3 合作，继续开发新的功能和产品，以令我们的伙伴和客户满意。” Levon Stepanian，DoorDash 云 FinOps 负责人

通过参与 动手实践教程 和查阅 用户指南，开始使用 Amazon S3 Storage Lens。

标签 Amazon S3 Glacier Flexible Retrieval，Amazon S3 IntelligentTiering，Amazon S3 Lifecycle，Amazon S3 Storage Lens，Amazon Simple Storage Service (Amazon S3)，AWS Cloud Storage

Pranav Murlidhar

Pranav 是 AWS 的 Amazon S3 产品经理。自 2022 年以来，Pranav 一直专注于开发 Storage Lens，并帮助用户利用该工具收集洞察并优化其 Amazon S3 存储。在工作之余，Pranav 喜欢烹饪、足球、历史、弹吉他和旅行。

Levon Stepanian

Levon 是 DoorDash 的云 FinOps 负责人。在他的角色中，Levon 跨部门工作，以定义和推动工程领域的效率计划，并改善与供应商相关的单位经济学。他热衷于识别和实现能够为实验、新项目和增长提供资金的效率。