使用 Python 的 AI – 自然语言处理
自然语言处理 (NLP) 是指使用英语等自然语言与智能系统进行通信的 AI 方法。
当您想要像机器人这样的智能系统按照您的指令执行时，当您想要听取基于对话的临床专家系统的决策时，就需要进行自然语言处理。
NLP 领域涉及让计算机使用人类使用的自然语言执行有用的任务。NLP 系统的输入和输出可以是 −
- 语音
- 书面文本
NLP 的组成部分
在本节中，我们将了解 NLP 的不同组成部分。NLP 有两个组成部分。组件描述如下 −
自然语言理解 (NLU)
它涉及以下任务 −
将自然语言中的给定输入映射到有用的表示形式中。
分析语言的不同方面。
自然语言生成 (NLG)
它是从某些内部表示形式中以自然语言形式生成有意义的短语和句子的过程。它涉及 −
文本规划 − 这包括从知识库中检索相关内容。
句子规划 − 这包括选择所需的单词、形成有意义的短语、设置句子的基调。
文本实现 −这是将句子计划映射到句子结构中。
NLU 中的困难
NLU 的形式和结构非常丰富；然而，它具有歧义性。歧义程度可能不同 −
词汇歧义
它处于非常原始的层次，例如单词层次。例如，将单词"board"视为名词还是动词？
语法层次歧义
一个句子可以用不同的方式解析。例如，"他举起了戴红帽子的甲虫。" − 他是用帽子举起甲虫还是举起了戴红帽子的甲虫？
指称歧义
使用代词指代某事。例如，Rima 去了 Gauri。她说，"我累了。" − 到底是谁累了？
NLP 术语
现在让我们看看 NLP 术语中的几个重要术语。
音系 − 它是系统地组织声音的研究。
形态 − 这是一门从原始有意义的单位构建单词的研究。
语素 − 它是语言中意义的原始单位。
语法 − 它是指将单词排列成句子。 它还涉及确定单词在句子和短语中的结构作用。
语义 − 它关注单词的含义以及如何将单词组合成有意义的短语和句子。
语用 −它涉及在不同情况下使用和理解句子，以及句子的解释如何受到影响。
话语 − 它涉及紧接在前的句子如何影响下一个句子的解释。
世界知识 − 它包括有关世界的一般知识。
NLP 中的步骤
本节介绍 NLP 中的不同步骤。
词汇分析
它涉及识别和分析单词的结构。语言的词汇是指语言中单词和短语的集合。词汇分析将整个文本块划分为段落、句子和单词。
句法分析（解析）
它涉及分析句子中的单词的语法，并以显示单词之间关系的方式排列单词。诸如"The school goes to boy"这样的句子被英语句法分析器拒绝。
语义分析
它从文本中提取确切含义或字典含义。检查文本是否有意义。它是通过在任务域中映射句法结构和对象来完成的。语义分析器会忽略诸如"热冰淇淋"之类的句子。
话语整合
任何句子的含义都取决于其前一个句子的含义。此外，它还会带来紧接着的句子的含义。
语用分析
在此过程中，所说的内容会根据其实际含义进行重新解释。它涉及推导需要现实世界知识的语言方面。
