Apache NiFi - 数据来源
Apache NiFi 记录并存储有关流中摄取数据上发生的事件的所有信息。 数据来源存储库存储此信息并提供 UI 来搜索此事件信息。 还可以访问完整 NiFi 级别和Processor(处理器)级别的数据来源。
下表列出了 NiFi 数据来源事件列表中的不同字段,其中包含以下字段−
S.No. | 字段名称 | 描述 |
---|---|---|
1 | Date/Time | 活动的日期和时间。 |
2 | Type | 事件类型,如 ‘CREATE’. |
3 | FlowFileUuid | 执行事件的流文件的 UUID。 |
4 | Size | 流文件的大小。 |
5 | Component Name | 执行事件的组件的名称。 |
6 | Component Type | 组件的类型。 |
7 | Show lineage | 最后一列有"show lineage"图标,用于查看流文件沿袭,如下图所示。 |
要获取有关该事件的更多信息,用户可以单击 NiFi Data Provenance UI 第一列中的信息图标。
nifi.properties 文件中有一些属性,用于管理 NiFi Data Provenance 存储库。
S.No. | 属性名称 | 默认值 | 描述 |
---|---|---|---|
1 | nifi.provenance.repository.directory.default | ./provenance_repository | 指定NiFi数据来源的默认路径。 |
2 | nifi.provenance.repository.max.storage.time | 24 hours | 指定NiFi数据来源的最大保留时间。 |
3 | nifi.provenance.repository.max.storage.size | 1 GB | 指定NiFi数据来源的最大存储空间。 |
4 | nifi.provenance.repository.rollover.time | 30 secs | 指定NiFi数据来源的滚动时间。 |
5 | nifi.provenance.repository.rollover.size | 100 MB | 指定 NiFi 数据来源的翻转大小。 |
6 | nifi.provenance.repository.indexed.fields | EventType, FlowFileUUID, Filename, ProcessorID, Relationship | 指定用于搜索和索引 NiFi 数据来源的字段。 |