BigQuery - 连接到外部源

到目前为止，本教程的大部分内容都涉及 UI 和云终端，现在是时候探索通过外部源连接到 BigQuery 了。

在 UI 中编写查询的局限性

尽管在 BigQuery Studio 中编写查询可能很方便，但事实是，这只能满足有限的目的 −

• 最初开发 SQL 查询或脚本
• 调试查询
• 进行抽查或质量保证

简单地在 UI 中编写和运行查询并不能帮助提供自动化数据解决方案。这意味着在 BigQuery SQL 环境中，您无法 −

• 访问 BigQuery API
• 与 Airflow 集成
• 创建 ETL 管道

外部 BigQuery 集成

在接下来的章节中，我们将探讨如何将 BigQuery 集成 −

• BigQuery 计划查询
• BigQuery API (Python)
• Cloud Composer / Airflow
• Google Sheets
• BigQuery 数据传输

外部 BigQuery 集成使开发人员能够利用 SQL 的强大功能执行以下任务 −

• 创建自动提取加载(EL)
• 提取转换负载 (ETL)
• 提取负载转换 (ELT) 作业