#林澤佑老師│三種不可不知的自然語言處理模型
自然語言處理 (NLP) 是個很有趣的領域，其應用領域之廣，要一一細數可能非常困難。
從基於 RNN(遞歸神經網路) 的 Encoder-Decoder (NLP裡的模型框架)的架構，到引入注意力機制 (attention mechanism) 的發展，模型的演化可以說是非常精彩。
Google 在 2017 發表的 一文中，提出了被稱為變形金剛 (Transformer) ，其大量基於矩陣運算的重新定義了注意力機制。 Transformer 其特殊的架構，不僅打破許多資料集上的紀錄，也同時刷新了我們的想像力上限，Transformer 近期更作為 NLP 的標準模型架構被大量使用中，可謂是不可不知的 NLP 模型之一。
這篇文章將會討論近年來非常熱門的 ELMO、BERT 與 GPT-2 模型，讓大家能夠更快速理解這些近代熱門的 NLP 模型。
#跟著林老師一起學AI
◎課程主題：深度學習菜鳥救星-讓你一次學會AI深度學習
◎課程連結：https://bit.ly/3aosMma
encoder decoder架構 在 Encoder-Decoder结构- 基于seq2seq模型的自然语言处理 ... 的推薦與評價
图4：经典的Encoder-Decoder示意图(LSTM or CNN）. 上图为seq2seq的encode和decode结构，采用CNN/LSTM模型。在RNN中，当前时间的隐藏状态是由上一时间的状态和当前时间 ... ... <看更多>