如何使用 Boto3 检查正在运行的 Glue 作业的状态?
boto3pythonserver side programmingprogramming
问题陈述 − 使用 Python 中的 boto3 库运行胶水作业并获取其状态(无论成功还是失败)。例如，运行作业 run_s3_file_job 并获取其状态。
解决此问题的方法/算法
步骤 1 − 导入 boto3 和 botocore 异常来处理异常。
步骤 2 − job_name 是函数中的必需参数，而 arguments 是可选参数。很少有作业需要参数来运行。在这种情况下，参数可以作为字典传递。
例如:arguments = {‘arguments1’ = ‘value1’, ‘arguments2’ = ‘value2’
如果作业不接受参数，则只需传递 job_name。
步骤 3 − 使用 boto3 库创建 AWS 会话。确保默认配置文件中提到了 region_name。如果没有提到，则在创建会话时明确传递 region_name。
步骤 4 − 为 glue 创建一个 AWS 客户端。
步骤 5 − 现在使用 start_job_run 函数并传递 JobName 和参数(如果需要)。
步骤 6 −一旦作业启动，它会为 job_run_id 提供作业的元数据。
步骤 7 − 使用函数 get_job_run 并从上一个函数的结果中传递参数 RunId。它返回有关状态的字典。
步骤 8 − 现在，获取作业的具体状态。如果作业未完成，则状态可能为正在运行，否则为成功/失败。
步骤 9 − 如果检查作业时出现问题，则处理通用异常。
示例
使用以下代码运行并获取现有胶水作业的状态 −
import boto3
from botocore.exceptions import ClientError
def run_glue_job_get_status(job_name, arguments = {}):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
status_detail = glue_client.get_job_run(JobName=job_name, RunId = job_run_id.get("JobRunId"))
status = status_detail.get("JobRun").get("JobRunState")
return status
except ClientError as e:
raise Exception( "boto3 client error in run_glue_job_get_status: " + e.__str__())
except Exception as e:
raise Exception( "Unexpected error in run_glue_job_get_status: " + e.__str__())
#Get status 1st time
print(run_glue_job_get_status("run_s3_file_job"))
#Get status 2nd time after waiting
time.sleep(10)
print(run_glue_job_get_status("run_s3_file_job"))
输出
##Get status 1st time Running #Get status 2nd time after waiting SUCCEEDED
