• <xmp id="0aayy">
  • <noscript id="0aayy"><source id="0aayy"></source></noscript>

    • 研究動態

    基于動態跳邊機制的長短時記憶網絡

    近年來，長短時記憶網絡（LSTM）已經成功地被用于建模具有可變長度的序列數據。然而，長短時記憶網絡在捕捉自然語言的長期依賴方面依然會遇到困難。為了解決這個問題，有研究者提出使用固定長度的跳躍系數來改進邊與邊之間的連接結構，盡管這種設計簡單有效，但依然不能處理變長的依賴關系。因此，我們提出如下改進：
    1

    動態跳邊機制

    引入動態跳邊機制來減輕LSTM 在長距離依賴問題上表現欠缺的問題，該動態跳邊機制能夠學會直接連接兩個有依賴關系的詞語。

    2

    基于強化學習的依賴關系學習方法

    由于在訓練數據中，并沒有依賴關系的標注信息，我們提出一種新的基于強化學習方法從數據中自動學習依賴關系。

    Tao Gui, Qi Zhang, Lujun Zhao, Yaosong Lin, Minlong Peng, Jingjing Gong, Xuanjing Huang, Long Short-Term Memory with Dynamic Skip Connections, AAAI-19.
    image

    基于對抗學習的多標準中文分詞

    中文分詞是漢語自然語言處理的重要任務。中文分詞語料豐富，每一份中文分詞語料都是經過昂貴而耗時的人工標注得到的。又因為每份語料間的分詞標準多少有些不一致，因而以往在訓練一個分詞模型的時候只會用一份語料，而置其他語料于不顧，這無疑是浪費。如果能夠想辦法利用多個分詞標準語料集的信息，就能讓模型在更大規模的數據上訓練，從而提升各個分詞標準下分詞的準確率。多標準分詞問題有非常高的學術和應用價值。實驗證明，我們的方法可以利用不同標準的分詞語料，提高中文分詞的性能。在8個不同規范的中文分詞數據集上，我們取得了比單標準分詞更好的效果。論文發表于ACL 2017，并獲杰出論文獎。
    image
    Xinchi Chen, Zhan Shi, Xipeng Qiu, Adversarial Multi-Criteria Learning for Chinese Word Segmentation, ACL-2017.


    国产福利一区二区三区视频在线