BigQuery - 监控使用情况和性能
了解使用情况和性能限制至关重要,尤其是对于组织内部的工作人员而言。持续了解消耗过多时隙时间的用户和数据源,可以帮助 BigQuery 管理员做出明智的决定,限制对资源的访问,并在运行资源密集型作业的团队之间引发富有成效的对话。
性能仪表板
为了实现更透明的实时监控,BigQuery 在 BigQuery Studio UI 中的监控选项卡中提供了性能仪表板。
注意 −每次执行查询时,都会绘制性能图表。
此外,BigQuery 还提供了执行图,以便更直观地解释查询性能。
在项目级别,管理员可以在"监控"仪表板中查看 BigQuery 数据。监控可在项目级别和数据集级别进行。
项目级别监控
项目级别显示当前正在运行或"正在进行"的查询数。
数据集级别监控
在数据集级别,我们可以看到每个表存储的字节数。
要访问和操作这些图表,请按照以下步骤操作 −
- 导航到 BigQuery
- 选择管理
- 单击监控
- 如果需要:切换实时数据
在此 UI 中,用户还可以访问运营健康,它以两种不同的视图形式提供信息:摘要视图和更详细视图。
运营健康摘要表中的一些顶级指标对管理员和用户都有帮助,包括 −
- 插槽(Slot)使用情况
- 随机播放(预留重新分配)使用情况
- 并发性(同时执行的作业)
- 处理的字节数
- 作业持续时间
- 总存储量
注意 − 使用单位是字节(如有必要,可以转换为千兆字节或兆兆字节)。
如需更详细的视图,用户可以使用本教程前面的元数据查询技术查询 INFORMATION_SCHEMA 视图。
BigQuery 的常见错误
尽管掌握了有关 BigQuery 功能的教育和信息,但与任何开发过程一样,错误仍然可能发生,而且实际上很可能是不可避免的。由于新用户对平台不熟悉,他们特别容易受到 BigQuery 错误的影响。
BigQuery 错误类型
BigQuery 错误分为两类 −
- 基于代码的错误
- 基于平台的错误
尽管 BigQuery 的 SQL 方言 (Google SQL) 旨在被普遍理解并让人联想到其他 SQL 方言,但可能会发生语法错误,坦率地说,这可能会让人非常沮丧。
BigQuery 语法错误
以下是 BigQuery 语法错误的非详尽列表 −
- 使用撇号代替反引号。
- 在 FROM 子句中省略数据集或表。
- 错误地使用 UNNEST()(在 STRUCT 而不是 ARRAY 上)。
- 在使用 AVG() 等聚合函数时忘记 GROUP BY 子句。
- 忘记列名之间的逗号。
基于平台的错误
基于平台的错误源于误解 BigQuery 的执行约束,可能包括 −
- 运行超过 20 个并发查询。
- 未将大型查询的结果写入表,导致"结果太大"错误。
- 未将大型查询作为批处理作业运行。
- 覆盖或截断表而不是附加结果。
不幸的是,不可能标记新的 BigQuery SQL 开发人员遇到的几乎所有错误。但是,以上代表了您可能遇到的各种问题。