如何使用 TensorFlow Text 预处理序列建模?
kerasmachine learningprogrammingtensorflow
TensorFlow Text 包含可与 TensorFlow 2.0 一起使用的文本相关类和操作的集合。该库有助于基于文本的模型所需的预处理，并包含序列建模所需的其他功能。这些功能在 TensorFlow 中不存在。
在文本预处理期间使用操作类似于使用 Tensorflow graph。这意味着用户不必担心训练中的标记化与干扰时的标记化不同。 Ops 还有助于管理预处理脚本。
可以使用以下命令安装它:
pip install -q tensorflow-text
TensorFlow Text 需要 TensorFlow 2.0，并且与 Eage 模式和图形模式兼容。
某些操作要求字符串采用 UTF-8 编码。如果使用不同的编码，则可以使用核心 Tensorflow 将操作转码为 UTF-8。如果输入无效，可以使用相同的操作将字符串强制转换为结构有效的 UTF-8 编码。
