论文标题
带有潜在树的句子产生的递归自上而下的生产
Recursive Top-Down Production for Sentence Generation with Latent Trees
论文作者
论文摘要
我们为自然语言和合成语言的无上下文语法的递归生产特性建模。为此，我们提出了一种动态的编程算法，该算法在潜在的二进制树结构上用$ N $叶子边缘边缘，使我们能够计算潜在树模型下的$ n $ sokens序列的可能性，我们最大程度地训练了回收性神经功能。我们在两个综合任务上展示了表现：扫描（Lake and Baroni，2017年），在该任务（Lake and Baroni，2017年）中，它在长度划分上的表现优于先前的模型，而英文问题形成（McCoy等，2020），在该模型中，它的性能与具有地面树木结构的解码器相当。我们还提供了有关多30k数据集中德语 - 英语翻译的实验结果（Elliott等，2016），并定性地分析了我们的模型对扫描任务和德语英语翻译任务学习的诱导树结构。
We model the recursive production property of context-free grammars for natural and synthetic languages. To this end, we present a dynamic programming algorithm that marginalises over latent binary tree structures with $N$ leaves, allowing us to compute the likelihood of a sequence of $N$ tokens under a latent tree model, which we maximise to train a recursive neural function. We demonstrate performance on two synthetic tasks: SCAN (Lake and Baroni, 2017), where it outperforms previous models on the LENGTH split, and English question formation (McCoy et al., 2020), where it performs comparably to decoders with the ground-truth tree structure. We also present experimental results on German-English translation on the Multi30k dataset (Elliott et al., 2016), and qualitatively analyse the induced tree structures our model learns for the SCAN tasks and the German-English translation task.
