PyTorch - 递归神经网络

虽然标准深度神经网络，特别是循环神经网络 (RNN)，在自然语言处理 (NLP) 领域取得了显著进展，但它们通常将语言视为词或字符的扁平序列 flat sequence。

然而，许多语言学理论认为语言具有固有的层次结构 hierarchical structure，通常表示为树（例如，句子的解析树 parse trees）。递归神经网络 (RecNN) 旨在处理这种树形结构数据 tree-structured data，将同一组权重递归地应用于输入结构。

PyTorch 的灵活性，特别是其动态计算图，使其非常适合实现复杂和非标准的架构，如递归神经网络，这些架构通常需要根据输入树在运行时定义自定义图结构。

递归神经网络的特性

递归神经网络是通过将同一组权重递归地应用于图状 graph-like 或树状结构来创建的。
树中的节点通常按拓扑顺序 topological order 处理（例如，从叶节点 leaves 自底向上到根节点 root）。
RecNNs 使用结构反向传播 backpropagation through structure 进行训练，这是标准反向传播算法适用于树结构的变体。PyTorch 的 Autograd 可以处理这一点。
它们特别适用于 NLP 中句法结构 syntactic structure 很重要的任务，例如基于解析树的情感分析 sentiment analysis 或自然语言推理 natural language inference。
像递归神经网络张量网络 (RNTN) 这样的变体可以使用更具表现力的组合函数 composition functions 来处理树中的每个节点。

概念上，递归神经网络处理具有树状结构的数据。与在序列上操作的 RNN 不同，RecNNs 将同一组权重递归地应用于层次结构 hierarchical structure 的输入。例如，在 NLP 中，一个句子可以被解析成一棵树，RecNN 可以根据这棵解析树组合词表示，形成短语表示，最终在根节点形成句子表示。

实现 RecNNs 通常需要仔细处理树结构和自定义模块定义。虽然 PyTorch 没有内置像 nn.RNN 那样的通用 nn.Recursive 层，但其工具集允许构建它们。有关更多示例和高级实现，学术论文和专门的 NLP 库是很好的资源。