Apache NiFi - 数据来源

Apache NiFi 记录并存储有关流中摄取数据上发生的事件的所有信息。 数据来源存储库存储此信息并提供 UI 来搜索此事件信息。 还可以访问完整 NiFi 级别和Processor(处理器)级别的数据来源。

数据来源

下表列出了 NiFi 数据来源事件列表中的不同字段,其中包含以下字段−

S.No. 字段名称 描述
1 Date/Time 活动的日期和时间。
2 Type 事件类型,如 ‘CREATE’.
3 FlowFileUuid 执行事件的流文件的 UUID。
4 Size 流文件的大小。
5 Component Name 执行事件的组件的名称。
6 Component Type 组件的类型。
7 Show lineage 最后一列有"show lineage"图标,用于查看流文件沿袭,如下图所示。
Lineage Icon

要获取有关该事件的更多信息,用户可以单击 NiFi Data Provenance UI 第一列中的信息图标。

nifi.properties 文件中有一些属性,用于管理 NiFi Data Provenance 存储库。

S.No. 属性名称 默认值 描述
1 nifi.provenance.repository.directory.default ./provenance_repository 指定NiFi数据来源的默认路径。
2 nifi.provenance.repository.max.storage.time 24 hours 指定NiFi数据来源的最大保留时间。
3 nifi.provenance.repository.max.storage.size 1 GB 指定NiFi数据来源的最大存储空间。
4 nifi.provenance.repository.rollover.time 30 secs 指定NiFi数据来源的滚动时间。
5 nifi.provenance.repository.rollover.size 100 MB 指定 NiFi 数据来源的翻转大小。
6 nifi.provenance.repository.indexed.fields EventType, FlowFileUUID, Filename, ProcessorID, Relationship 指定用于搜索和索引 NiFi 数据来源的字段。