2024 年 5 大 Linux 和开源案例：从 AI 争论到安全紧急呼叫

Databricks 是数据湖仓一体技术及其开放存储格式基础的拥护者，它宣布创下数据仓库性能基准的世界纪录。

Databricks 的 TPC-DS 基准测试结果摘要

随着数据源和数据量的增长，以及数据驱动型取向越来越被视为竞争必需品，平台供应商之间为提供数据主存储库而进行的竞争非常激烈。这场战争有几个方面，其中之一是分析。在这个范围内，数据仓库和数据湖阵营是主要的战斗对象。

数据仓库方面很强大，因为它包括 Teradata 和 Vertica（现在是 Micro Focus 的一部分）等坚定的现有供应商、所有三个主要云提供商（AWS、Google Cloud、Microsoft Azure）和行业宠儿 Snowflake。在数据湖方面，Cloudera 和 Databricks 等独立提供商可能是最具代表性的竞争对手。 

之前在 Databricks 的 TPC-DS 基准测试运行规模上的性能记录保持者是阿里巴巴。这家中国互联网和电子商务巨头使用自己定制的（也是相当强大的）数据仓库系统，实现了 14,861,137 QphDS @ 100TB（每小时决策支持查询，基于涉及 100TB 数据的查询）的结果。

与此同时，Databricks 宣布实现了 32,941,245 QphDS @ 100TB 的结果，是阿里巴巴性能的两倍多。该公司表示，它在一个成本比阿里巴巴的自制啤酒平台低 10% 的系统上实现了这一目标。虽然基准测试是由 Databricks 自己进行的，但结果是由 TPC 审计的。 

在 Databricks 看来，它创下了历史纪录。 

该公司进一步认为，现在应该清除任何阻止客户使用 Lakehouse 平台代替仓库平台的障碍。这很重要，因为即使在倡导湖仓一体方法时，Databricks 之前也承认仓库平台在某些工作负载上表现更好，并且该公司明白这种性能缺陷会阻止客户转向湖仓一体。

面对 Snowflake

Databricks 显然认为这些基准测试结果使其成功地与数据仓库宠儿 Snowflake 相媲美。说到这一点，除了 TPC 基准测试结果本身之外，Databricks 还吹捧巴塞罗那超级计算中心 （BSC） 所做的工作，将 Databricks SQL 和 Snowflake 进行比较。Databricks 表示，这项工作基于 TPC-DS 基准测试，但未经 TPC 审计，表明 Databricks SQL 的速度提高了 2.7 倍（请参阅下图，该图来自有关该主题的 Databricks 博客文章）。BSC 还报告称，Databricks SQL 集群的性价比比类似大小的 Snowflake 设置高 12 倍。

Databricks SQL 与 Snowflake 使用源自 TPC-DS 的基准测试。 

这里有很多变化，但 TPC 和 BSC 结果确实表明，湖仓一体架构可以承担这些 BI 工作负载。这一点很重要，因为大多数基于 Spark 的系统（包括 Databricks）以前最适合分析领域的数据工程、机器学习和间歇性查询。让这样的系统为正在进行的分析工作负载提供服务，或涉及相互构建的多个查询的临时分析，是比较困难的。

如果问题是这是否意味着湖仓一体现在是仓库的完全替代品，那么答案就不清楚了。

这种缺乏明确性的主要原因与以前客户对为什么湖泊或湖滨小屋不是 适当的替代品的看法有关。是的，对于某些人来说，坚持使用仓库的原因是性能，而这套 TPC 基准测试可能会解决这些问题并动摇支持它们的客户。

形式问题 

对于其他客户来说，这些标准更多地是关于范式（包括数据建模，从某种意义上说，是数据治理）而不是性能。Lake 的精神是以开放格式的命名文件形式存储数据，以便数据与一系列数据库和分析引擎兼容，并可供其使用。由于数据以文件的形式存储在磁盘或云存储中，因此减少了对其进行建模的需求（和意愿）。 

这使得数据不那么正式，通常不那么仔细，也更少审查。Control 的委派更加严格，因此更容易放入数据。（数据湖的这些特征也适用于湖仓一体场景。

数据仓库更加正式和受控，通常强制实施更明确和全面的数据模型。它不太敏捷，这让用户感到沮丧，但它也有更多的过滤器，这可能与通常更高的数据质量和用户信任度相关。

大数据的大基准

Databricks TPC-DS 基准测试配置

一个拥有价值 500 万美元的基础设施和海量数据量的系统或许能够与阿里巴巴的基准数据相媲美，但这并不是大多数客户需要或负担得起的典型情况。它确实表明 Databricks SQL 可以承担巨大的工作负载，对于某些客户来说，这本身就很重要。

Databricks 基准测试结果的重要性可以通过适当地构建问题来最好地理解。Databricks 会将其定义为：“哪种模型最主导？”但也许问题是：“在特定的用例中，哪种模型对特定客户更有吸引力？”然后是：“现在两种模型的性能都足够了吗？

最终，大多数企业可能会从数据仓库和数据湖（房屋）中受益。该仓库可以成为经过严格审查、仔细一致性和建模的数据的存储库，以驱动“已知未知数”领域的报告、运营仪表板和临时查询。同时，湖泊和湖仓一体可以容纳更多数据，采用更短的入门流程，减少“写入建模”，并用于探索性分析和即兴可视化。

胜利，而不是赢家

TPC 结果清楚地表明，这两个模型都运行良好，提供出色的结果，可以在需要时进行交互，并且可以使用相同的 BI 工具。它们还具有成本效益、云优先、弹性和敏捷性。但是，即使仓库/湖仓一体问题不需要非此即彼的选择，供应商这样看也有好处：对相同客户和相同工作负载的竞争会导致持续创新，使客户受益。

TPC 基准是否是最好的最终仲裁者，将取决于买方的标准。但无论如何，Databricks 的 TPC-DS 结果令人印象深刻。它们是行业的一个里程碑，也是确保供应商采用持续改进方法的强制功能，无论他们吹捧的是湖泊、湖仓一体还是仓库。