如何使用 Tensorflow 和 Python 从单词列表构建不规则张量?
pythonserver side programmingprogrammingtensorflow
可以使用句子中单词的起始偏移量构建不规则张量。首先，构建句子中每个单词的每个字符的代码点。接下来，它们显示在控制台上。确定该特定句子中的单词数，并确定偏移量。
阅读更多: 什么是 TensorFlow，以及 Keras 如何与 TensorFlow 配合使用来创建神经网络?
使用 Python 表示 Unicode 字符串，并使用 Unicode 等效项来操作这些字符串。首先，我们将在标准字符串操作的 Unicode 等效项的帮助下，根据脚本检测将 Unicode 字符串分离为标记。
我们正在使用 Google Colaboratory 来运行以下代码。Google Colab 或 Colaboratory 有助于在浏览器上运行 Python 代码，并且不需要任何配置，并且可以免费访问 GPU(图形处理单元)。 Colaboratory 已在 Jupyter Notebook 上构建。
print("获取每个单词中每个字符的代码点")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
values=sentence_char_codepoint.values,
row_starts=word_starts)
print(word_char_codepoint)
print("获取特定句子中的单词数")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)
代码来源:https://www.tensorflow.org/tutorials/load_data/unicode
输出
获取每个单词中每个字符的代码点 <tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]> 获取特定句子中的单词数
解释
- 为每个单词中的每个字符构建代码点。
- 这些显示在控制台上。
- 确定该特定句子中的单词数。
