Why use single head and do not use positional embedding in Attentive module

[dzpdzpdzp]

请问一下作者，您这里为什么在Attentive module只是用单头，而且没有使用位置编码。并且用于连接的FFN也设置隐藏层数目也设置成为了和词向量一样的维度。

另外就是还有一个问题在交叉注意力中，
Ui= AttentiveModule(U, R, R)，Rl = AttentiveModule(R，U, U)
这个公式的设计大概是一个怎样的想法

刚刚那个问题一不小心手误删掉了，表示尴尬。
麻烦作者解答一下谢谢啦。

[xyzhou-puck]

Hi， 1. 多头attention经验上是有效的，当时没有使用主要是时间问题。2. postional-encoding我们尝试了一下，发现有没有差别不大，可能是每个turn都不算很长，所以就去掉了。 3. cross-attention主要是为了能在匹配的时候consider dependency information，处理例如指代这种问题。 谢谢， 湘阳

…

在 2018年11月5日，下午5:58，dzpdzpdzp ***@***.*** ***@***.***>> 写道： 请问一下作者，您这里为什么在Attentive module只是用单头，而且没有使用位置编码。并且用于连接的FFN也设置隐藏层数目也设置成为了和词向量一样的维度。 另外就是还有一个问题在交叉注意力中， Ui= AttentiveModule(U, R, R)，Rl = AttentiveModule(R，U, U) 这个公式的设计大概是一个怎样的想法 刚刚那个问题一不小心手误删掉了，表示尴尬。 麻烦作者解答一下谢谢啦。 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#7>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AF-secGqdiWjxva1M39aqf89RxTDfyViks5usAuwgaJpZM4YOG6v>.

[dzpdzpdzp]

感谢您的回复，谢谢