HCatalog - 简介

什么是 HCatalog?

HCatalog 是 Hadoop 的表存储管理工具。它将 Hive 元存储的表格数据公开给其他 Hadoop 应用程序。它使使用不同数据处理工具(Pig、MapReduce)的用户能够轻松地将数据写入网格。它确保用户不必担心他们的数据存储在何处或以何种格式存储。

HCatalog 的工作原理类似于 Hive 的关键组件，它使用户能够以任何格式和任何结构存储他们的数据。

为什么选择 HCatalog?

为正确的作业启用正确的工具

Hadoop 生态系统包含不同的数据处理工具，例如 Hive、Pig 和 MapReduce。虽然这些工具不需要元数据，但当元数据存在时，它们仍然可以从中受益。共享元数据存储还使跨工具的用户能够更轻松地共享数据。使用 MapReduce 或 Pig 加载和规范化数据，然后通过 Hive 进行分析的工作流非常常见。如果所有这些工具共享一个元存储，那么每个工具的用户都可以立即访问使用另一个工具创建的数据。无需加载或传输步骤。

捕获处理状态以启用共享

HCatalog 可以发布您的分析结果。因此，其他程序员可以通过"REST"访问您的分析平台。您发布的模式对其他数据科学家也很有用。其他数据科学家将您的发现用作后续发现的输入。

将 Hadoop 与一切集成

Hadoop 作为处理和存储环境为企业开辟了很多机会；但是，为了推动采用，它必须与现有工具配合使用并增强现有工具。Hadoop 应该作为您的分析平台的输入，或与您的运营数据存储和 Web 应用程序集成。组织应该享受 Hadoop 的价值，而无需学习全新的工具集。 REST 服务通过熟悉的 API 和类似 SQL 的语言向企业开放了平台。企业数据管理系统使用 HCatalog 与 Hadoop 平台进行更深入的集成。

HCatalog 架构

下图显示了 HCatalog 的整体架构。

HCatalog 支持读取和写入任何可以写入 SerDe(序列化器-反序列化器)的格式的文件。默认情况下，HCatalog 支持 RCFile、CSV、JSON、SequenceFile 和 ORC 文件格式。要使用自定义格式，您必须提供 InputFormat、OutputFormat 和 SerDe。

HCatalog 建立在 Hive 元存储之上，并结合了 Hive 的 DDL。 HCatalog 为 Pig 和 MapReduce 提供读写接口，并使用 Hive 的命令行界面发出数据定义和元数据探索命令。