研究室文献紹介 11/10 QRNN
- RNNにCNN的要素を加えて、並列処理可能にし、学習速度を4x~16xまで高速化 させた研究。
- 時刻t の LSTM cell への入力である、1時刻前のhidden state h[t-1] を、k時刻分前の入力 x[t-1],x[t-2],... x[t-k] で近似することにより、前cellの計算を待たずに各cell の hidden state の計算をできるようにし、並列処理を可能にした。
- 今回の工夫により、RNNの隠れ層の 重みの視覚的解釈も容易 になった。
- salesforceが出している。
- 論文ではchainerが使用されている。
- pytorch での実装も最近できた。
なお、以下発表 slide 中に自作の convolution の3D が出て来るが、以下のサイトで作成した。
ただ、 好きな view point から 2D 画像を export できない。 もっといい 3D 作図サービスがあったら教えてください！
