Apache Pig - TOP() 函数

Pig Latin 的 TOP() 函数用于获取包的前 N 个元组。 对于这个函数，我们必须传递一个关系、我们想要的元组数量以及要比较其值的列名作为输入。 该函数将返回一个包含所需列的包。

语法

下面给出的是函数TOP()的语法。

grunt> TOP(topN,column,relation)

示例

假设我们在HDFS目录/pig_data/中有一个名为employee_details.txt的文件，其内容如下。

employee_details.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai 
007,Robert,22,newyork 
008,Syam,23,Kolkata 
009,Mary,25,Tokyo 
010,Saran,25,London 
011,Stacy,25,Bhuwaneshwar 
012,Kelly,22,Chennai

我们已将此文件加载到 Pig 中，关系名称为 emp_data，如下所示。

grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/ employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

按年龄对关系emp_data进行分组，并将其存储在关系emp_group中。

grunt> emp_group = Group emp_data BY age;

使用转储运算符验证关系emp_group，如下所示。

grunt> Dump emp_group;
  
(22,{(12,Kelly,22,Chennai),(7,Robert,22,newyork),(6,Maggy,22,Chennai),(1,Robin, 22,newyork)}) 
(23,{(8,Syam,23,Kolkata),(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23, Kolkata)}) 
(25,{(11,Stacy,25,Bhuwaneshwar),(10,Saran,25,London),(9,Mary,25,Tokyo),(4,Sara, 25,London)})

现在，您可以获取按升序排列的每组前两条记录（基于id），如下所示。

grunt> data_top = FOREACH emp_group { 
   top = TOP(2, 0, emp_data); 
   GENERATE top; 
}

在此示例中，我们正在检索具有更大 id 的组的前 2 个元组。 由于我们根据 id 检索前 2 个元组，因此我们将列名 id 的索引作为 TOP() 函数的第二个参数传递。

验证

您可以使用 Dump 运算符验证 data_top 关系的内容，如下所示。

grunt> Dump data_top;
  
({(7,Robert,22,newyork),(12,Kelly,22,Chennai)}) 
({(5,David,23,Bhuwaneshwar),(8,Syam,23,Kolkata)}) 
({(10,Saran,25,London),(11,Stacy,25,Bhuwaneshwar)})

apache_pig_bag_tuple_functions.html