Apache Pig - 处理压缩函数

我们可以使用函数 BinStorage() 和 TextLoader() 在 Apache Pig 中加载和存储压缩数据。

示例

假设我们在 HDFS 目录 /pigdata/ 中有一个名为 employee.txt.zip 的文件。 然后，我们可以将压缩文件加载到pig中，如下所示。

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

同样的方法，我们可以将压缩后的文件存储到pig中，如下所示。

Using PigStorage:
  
grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');

apache_pig_load_store_functions.html