BigQuery 与本地 SQL 引擎
虽然 SQL 已经存在 40 多年,但 BigQuery 并不是第一个 SQL 环境。在 BigQuery 发布之前,SQL 开发人员主要使用本地或"on-prem"数据库。
允许开发人员管理和与数据库交互的系统称为数据库管理系统 (DBMS)。
在"云工程师"或"数据工程师"职位获得普及和广泛使用之前,那些使用 DBMS 工具的人拥有"架构师"之类的头衔。通常,这个头衔的使用非常直接,因为那些使用数据库的人维护着物理和数字基础设施。
数据建模
随着数据库技术的发展,架构师的职责主要涉及一项称为数据建模的任务。
虽然像 INSERT() 这样的函数可以很容易地从源中获取数据并将其添加到数据库中,但在采用数据建模的组织中,需要花很多心思来考虑如何存储和塑造数据。
流行的数据建模概念包括"星型模式"或"规范化"和"范式"等短语。
BigQuery 与任何传统 DBMS 有何不同?
虽然仍建议在创建 BigQuery 表时遵循最佳实践,但 BigQuery 比传统 DBMS 接口更具开箱即用性。
BigQuery 与更"传统"的 DBMS 有以下不同之处 −
- 可扩展性 − 得益于 Google 数据中心提供的惊人数量的云存储,BigQuery 可以扩展以满足几乎任何存储或查询需求。
- API 集成 − BigQuery 的 SQL 引擎可以通过编程方式利用,而 Postgre 等 DBMS 只能运行本机 SQL 查询。
- ML/AI 功能,与 Vertex AI 集成。
- 更多特定数据类型可用于长期存储。
- Google 特定的 SQL 方言 Google 查询语言 (GQL) 包含比更多传统 SQL 方言更专业的功能。
从用户的角度来看,BigQuery 还提供了有关执行统计数据和用户活动的更多可见性 −
- 允许用户在执行随附的 SQL 之前查看查询是否可接受
- 提供执行计划和查询沿袭
- 扩展的元数据存储,以提供有关查询使用情况、存储和成本的洞察
BigQuery 确实是基于云的 SQL 查询的标准,它始于Google 云端控制台。