Neural Network Papers (NLP)

ニューラルネットワーク（自然言語処理）関連で気になった論文を記載していきます。 過去分も少しずつ追加していきます。

2016

• 2016.10
  • Fully Character-Level Neural Machine Translation without Explicit Segmentation
    • arxiv
    • 文字ベースCNN Encoder + max pooling, highway layers, BiGRU, RNN decoder など。
      
• 2016.09
  • Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
    • arxiv
    • Googleの機械翻訳研究紹介。BiRNN encoder, Residual connection (Deepでも勾配消失回避), Wordpiece model (文字ベースと単語ベースの中間) など。
      
  • Hierarchical Multiscale Recurrent Neural Networks
    • arxiv
    • 文字レベルの入力に対し、どこまでが同じ単語、どこまでがフレーズ、といった境界を学習することで、階層構造を発見。
      
  • SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
    • arxiv
    • 系列データが生成物か実物かを見破る識別器（D）、policy gradientで学習した生成器（G）でGAN学習。行動価値はMC-searchで得た報酬の平均を用いる。
• 2016.08
  • Machine Comprehension Using Match-LSTM and Answer Pointer
    • arxiv
    • match-LSTMとPointer Netを用いた二つのモデル（Sequence model, Boundary model）を利用