Apache Pig - STRSPLITTOBAG() 函数
此函数类似于STRSPLIT()函数。 它按给定的分隔符分割字符串并将结果返回到包中。
语法
STRSPLITTOBAG() 的语法如下。 该函数接受需要拆分的字符串、正则表达式和指定限制的整数值(应拆分字符串的子字符串数量)。 该函数解析字符串,当遇到给定的正则表达式时,它将字符串拆分为 n 个子字符串,其中 n 将是传递给 limit 的值。
grunt> STRSPLITTOBAG(string, regex, limit)
示例
假设HDFS目录/pig_data/中有一个名为emp.txt的文件,如下所示。 该文件包含员工详细信息,例如 ID、姓名、年龄和城市。
emp.txt
001,Robin_Smith,22,newyork 002,BOB_Wilson,23,Kolkata 003,Maya_Reddy,23,Tokyo 004,Sara_Jain,25,London 005,David_Miller,23,Bhuwaneshwar 006,Maggy_Moore,22,Chennai 007,Robert_Scott,22,newyork 008,Syam_Ketavarapu,23,Kolkata 009,Mary_Carter,25,Tokyo 010,Saran_Naidu,25,London 011,Stacy_Green,25,Bhuwaneshwar 012,Kelly_Moore,22,Chennai
并且,我们已将此文件加载到 Pig 中,其关系名为 emp_data,如下所示。
grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/emp.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, city:chararray);
以下是STRSPLITTOBAG()函数的示例。 如果你观察emp.txt文件,你可以发现,在name列中,我们有员工的名字和姓氏,中间用删除符"_"分隔。
在此示例中,我们尝试拆分员工的姓名,并使用 STRSPLITTOBAG() 函数将结果放入包中。
grunt> strsplittobag_data = FOREACH emp_data GENERATE (id,name), STRSPLITTOBAG (name,'_',2);
语句的结果将存储在名为strsplittobag_data的关系中。 使用 Dump 运算符验证关系 strsplittobag_data 的内容,如下所示。
grunt> Dump strsplittobag_data; ((1,Robin_Smith),{(Robin),(Smith)}) ((2,BOB_Wilson),{(BOB),(Wilson)}) ((3,Maya_Reddy),{(Maya),(Reddy)}) ((4,Sara_Jain),{(Sara),(Jain)}) ((5,David_Miller),{(David),(Miller)}) ((6,Maggy_Moore),{(Maggy),(Moore)}) ((7,Robert_Scott),{(Robert),(Scott)}) ((8,Syam_Ketavarapu),{(Syam),(Ketavarapu)}) ((9,Mary_Carter),{(Mary),(Carter)}) ((10,Saran_Naidu),{(Saran),(Naidu)}) ((11,Stacy_Green),{(Stacy),(Green)}) ((12,Kelly_Moore),{(Kelly),(Moore)})
apache_pig_string_functions.html