AVRO - 使用解析器进行序列化

可以通过生成与模式对应的类或使用解析器库将 Avro 模式读入程序。在 Avro 中，数据始终与其对应的模式一起存储。因此，我们始终可以读取模式而无需生成代码。

本章介绍如何使用解析器库读取模式以及如何使用 Avro 序列化数据。

使用解析器库进行序列化

要序列化数据，我们需要读取模式、根据模式创建数据并使用 Avro API 序列化模式。以下步骤序列化数据而不生成任何代码 −

步骤 1

首先，从文件中读取模式。为此，请使用 Schema.Parser 类。此类提供解析不同格式模式的方法。

通过传递存储模式的文件路径来实例化 Schema.Parser 类。

Schema schema = new Schema.Parser().parse(new File("/path/to/emp.avsc"));

步骤 2

通过实例化 GenericData.Record 类来创建 GenericRecord 接口的对象，如下所示。将上面创建的架构对象传递给其构造函数。

GenericRecord e1 = new GenericData.Record(schema);

步骤 3

使用 GenericData 类的 put() 方法将值插入架构中。

e1.put("name", "ramu");
e1.put("id", 001);
e1.put("salary",30000);
e1.put("age", 25);
e1.put("address", "chennai");

步骤 4

使用 SpecificDatumWriter 类创建 DatumWriter 接口的对象。它将 Java 对象转换为内存中的序列化格式。以下示例为 emp 类实例化 SpecificDatumWriter 类对象 −

DatumWriter<emp> empDatumWriter = new SpecificDatumWriter<emp>(emp.class);

步骤 5

为 emp 类实例化 DataFileWriter。此类将符合架构的序列化数据记录以及架构本身写入文件中。此类需要 DatumWriter 对象作为构造函数的参数。

DataFileWriter<emp> dataFileWriter = new DataFileWriter<emp>(empDatumWriter);

步骤 6

使用 create() 方法打开一个新文件，以存储与给定模式匹配的数据。此方法需要模式以及要存储数据的文件的路径作为参数。

在下面给出的示例中，使用 getSchema() 方法传递模式，数据文件存储在路径中

/home/Hadoop/Avro/serialized_file/emp.avro.

empFileWriter.create(e1.getSchema(), new
File("/home/Hadoop/Avro/serialized_file/emp.avro"));

步骤 7

使用 append( ) 方法将所有创建的记录添加到文件，如下所示。

empFileWriter.append(e1);
empFileWriter.append(e2);
empFileWriter.append(e3);

示例 – 使用解析器进行序列化

以下完整程序显示如何使用解析器序列化数据 −

import java.io.File;
import java.io.IOException;

import org.apache.avro.Schema;
import org.apache.avro.file.DataFileWriter;

import org.apache.avro.generic.GenericData;
import org.apache.avro.generic.GenericDatumWriter;
import org.apache.avro.generic.GenericRecord;

import org.apache.avro.io.DatumWriter;

public class Seriali {
   public static void main(String args[]) throws IOException{
	
      //Instantiating the Schema.Parser class.
      Schema schema = new Schema.Parser().parse(new File("/home/Hadoop/Avro/schema/emp.avsc"));
		
      //Instantiating the GenericRecord class.
      GenericRecord e1 = new GenericData.Record(schema);
		
      //Insert data according to schema
      e1.put("name", "ramu");
      e1.put("id", 001);
      e1.put("salary",30000);
      e1.put("age", 25);
      e1.put("address", "chenni");
		
      GenericRecord e2 = new GenericData.Record(schema);
		
      e2.put("name", "rahman");
      e2.put("id", 002);
      e2.put("salary", 35000);
      e2.put("age", 30);
      e2.put("address", "Delhi");
		
      DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<GenericRecord>(schema);
		
      DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<GenericRecord>(datumWriter);
      dataFileWriter.create(schema, new File("/home/Hadoop/Avro_work/without_code_gen/mydata.txt"));
		
      dataFileWriter.append(e1);
      dataFileWriter.append(e2);
      dataFileWriter.close();
		
      System.out.println(“data successfully serialized”);
   }
}

浏览放置生成代码的目录。在本例中，位于 home/Hadoop/Avro_work/without_code_gen。

$ cd home/Hadoop/Avro_work/without_code_gen/

现在将上述程序复制并保存在名为 Serialize.java 的文件中。编译并执行如下图所示 −

$ javac Serialize.java
$ java Serialize

输出

数据成功序列化

验证程序中给出的路径，可以找到生成的序列化文件，如下所示。