BigQuery 与本地 SQL 引擎

虽然 SQL 已经存在 40 多年,但 BigQuery 并不是第一个 SQL 环境。在 BigQuery 发布之前,SQL 开发人员主要使用本地或"on-prem"数据库。

允许开发人员管理和与数据库交互的系统称为数据库管理系统 (DBMS)。

"云工程师""数据工程师"职位获得普及和广泛使用之前,那些使用 DBMS 工具的人拥有"架构师"之类的头衔。通常,这个头衔的使用非常直接,因为那些使用数据库的人维护着物理和数字基础设施。

数据建模

随着数据库技术的发展,架构师的职责主要涉及一项称为数据建模的任务。

虽然像 INSERT() 这样的函数可以很容易地从源中获取数据并将其添加到数据库中,但在采用数据建模的组织中,需要花很多心思来考虑如何存储和塑造数据。

流行的数据建模概念包括"星型模式"或"规范化"和"范式"等短语。

BigQuery 与任何传统 DBMS 有何不同?

虽然仍建议在创建 BigQuery 表时遵循最佳实践,但 BigQuery 比传统 DBMS 接口更具开箱即用性。

BigQuery 与更"传统"的 DBMS 有以下不同之处 −

  • 可扩展性 − 得益于 Google 数据中心提供的惊人数量的云存储,BigQuery 可以扩展以满足几乎任何存储或查询需求。
  • API 集成 − BigQuery 的 SQL 引擎可以通过编程方式利用,而 Postgre 等 DBMS 只能运行本机 SQL 查询。
  • ML/AI 功能,与 Vertex AI 集成。
  • 更多特定数据类型可用于长期存储。
  • Google 特定的 SQL 方言 Google 查询语言 (GQL) 包含比更多传统 SQL 方言更专业的功能。

从用户的角度来看,BigQuery 还提供了有关执行统计数据和用户活动的更多可见性 −

  • 允许用户在执行随附的 SQL 之前查看查询是否可接受
  • 提供执行计划和查询沿袭
  • 扩展的元数据存储,以提供有关查询使用情况、存储和成本的洞察

BigQuery 确实是基于云的 SQL 查询的标准,它始于Google 云端控制台。