BigQuery - 监控使用情况和性能

了解使用情况和性能限制至关重要,尤其是对于组织内部的工作人员而言。持续了解消耗过多时隙时间的用户和数据源,可以帮助 BigQuery 管理员做出明智的决定,限制对资源的访问,并在运行资源密集型作业的团队之间引发富有成效的对话。

性能仪表板

为了实现更透明的实时监控,BigQuery 在 BigQuery Studio UI 中的监控选项卡中提供了性能仪表板。

注意 −每次执行查询时,都会绘制性能图表。

监控使用情况和性能

此外,BigQuery 还提供了执行图,以便更直观地解释查询性能。

Bigquery 执行图

在项目级别,管理员可以在"监控"仪表板中查看 BigQuery 数据。监控可在项目级别数据集级别进行。

项目级别监控

项目级别显示当前正在运行或"正在进行"的查询数。

项目级别监控

数据集级别监控

数据集级别,我们可以看到每个表存储的字节数。

数据集级别监控

要访问和操作这些图表,请按照以下步骤操作 −

  • 导航到 BigQuery
  • 选择管理
  • 单击监控
  • 如果需要:切换实时数据

在此 UI 中,用户还可以访问运营健康,它以两种不同的视图形式提供信息:摘要视图和更详细视图

运营健康摘要表中的一些顶级指标对管理员和用户都有帮助,包括 −

  • 插槽(Slot)使用情况
  • 随机播放(预留重新分配)使用情况
  • 并发性(同时执行的作业)
  • 处理的字节数
  • 作业持续时间
  • 总存储量

注意 − 使用单位是字节(如有必要,可以转换为千兆字节或兆兆字节)。

如需更详细的视图,用户可以使用本教程前面的元数据查询技术查询 INFORMATION_SCHEMA 视图。

BigQuery 的常见错误

尽管掌握了有关 BigQuery 功能的教育和信息,但与任何开发过程一样,错误仍然可能发生,而且实际上很可能是不可避免的。由于新用户对平台不熟悉,他们特别容易受到 BigQuery 错误的影响。

BigQuery 错误类型

BigQuery 错误分为两类 −

  • 基于代码的错误
  • 基于平台的错误

尽管 BigQuery 的 SQL 方言 (Google SQL) 旨在被普遍理解并让人联想到其他 SQL 方言,但可能会发生语法错误,坦率地说,这可能会让人非常沮丧。

BigQuery 语法错误

以下是 BigQuery 语法错误的非详尽列表 −

  • 使用撇号代替反引号。
  • 在 FROM 子句中省略数据集或表。
  • 错误地使用 UNNEST()(在 STRUCT 而不是 ARRAY 上)。
  • 在使用 AVG() 等聚合函数时忘记 GROUP BY 子句。
  • 忘记列名之间的逗号。

基于平台的错误

基于平台的错误源于误解 BigQuery 的执行约束,可能包括 −

  • 运行超过 20 个并发查询。
  • 未将大型查询的结果写入表,导致"结果太大"错误。
  • 未将大型查询作为批处理作业运行。
  • 覆盖或截断表而不是附加结果。

不幸的是,不可能标记新的 BigQuery SQL 开发人员遇到的几乎所有错误。但是,以上代表了您可能遇到的各种问题。