#林澤佑老師│三種不可不知的自然語言處理模型
自然語言處理 (NLP) 是個很有趣的領域，其應用領域之廣，要一一細數可能非常困難。
從基於 RNN(遞歸神經網路) 的 Encoder-Decoder (NLP裡的模型框架)的架構，到引入注意力機制 (attention mechanism) 的發展，模型的演化可以說是非常精彩。
Google 在 2017 發表的 一文中，提出了被稱為變形金剛 (Transformer) ，其大量基於矩陣運算的重新定義了注意力機制。 Transformer 其特殊的架構，不僅打破許多資料集上的紀錄，也同時刷新了我們的想像力上限，Transformer 近期更作為 NLP 的標準模型架構被大量使用中，可謂是不可不知的 NLP 模型之一。
這篇文章將會討論近年來非常熱門的 ELMO、BERT 與 GPT-2 模型，讓大家能夠更快速理解這些近代熱門的 NLP 模型。
#跟著林老師一起學AI
◎課程主題：深度學習菜鳥救星-讓你一次學會AI深度學習
◎課程連結：https://bit.ly/3aosMma
跟著林老師一起學ai 在 AI上學全國第一數位讀書指導班 - Facebook 的推薦與評價
此次特邀生物名師李鴻老師分享準備方向及祕訣，趕快來看看，一起搶分go！ 1歷屆考題一定要練習本屆學測自然科的考題方向及類型，大概都與111學年的考題相近，李 ... ... <看更多>