關於 transformer機器學習 ，我們在網路上蒐集到這些相關的討論、資訊與評價

#島讀回顧 #人工智慧

今年島讀網站被搜尋最多次的關鍵字是「人工智慧」（AI）。

人工智慧近年的發展迅速，許多領域都能看到其應用。

島讀今年一篇《機器學習 — 知識工作者的未來》，以「文字產生器」GPT-3 討論人工智慧，獲得不少會員迴響。

---

寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光，美國 OpenAI 公布機器學習模型 GPT-3（Generative Pretrained Transformer），堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測，推出 API，更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章，甚至寫詩。

先說 OpenAI。OpenAI 是一個非營利組織，贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧（Artificial General Intelligence）將用於服務人類，而非迫害人類。

GPT-3 則是其開發的語言生成模型，第三代的「文字產生器」（島讀去年討論過第二代）。使用者輸入一段文字，它就會生出下一個字，再繼續生出下一個字，不斷重複下去，直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入：「天下分久必合，合久必 ___」，GPT-3 大概會預測下一個字是「分」。

如果我沒喊停，也沒有設定明確的任務，GPT-3 就會繼續生成下一個字，寫出一段故事或一篇文章。

或許你會問：「世界上文字千萬種，GPT-3 怎麼知道要寫論文或小說呢？」

這就是 GPT-3 驚人的地方：它是通用模型。只要使用者稍許提示，它就會自動調整輸出內容類型，不需要使用者另外精調（fine tune）。就像一個真的有用的 Siri，不管你丟什麼任務，只要是文字，它都接得下來。

例如有人簡短的提示（prompt） GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」，GPT-3 就生出相當完整的作品。

只要是需要文字的任務，不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦，甚至是寫程式，GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動，因為讀者讀完才發現整篇都是 GPT-3 寫的。

相較於 GPT-2，GPT-3 效能是「暴力式」的飛越性成長。換言之，GPT-3 的基本架構與 GPT-2 幾乎一樣，只是參數由 15 億增加到 1,750 億（117 倍），但效果隨之大幅成長。這讓矽谷圈精神為之一振，因為代表機器學習仍可以透過擴大規模來成長。

雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個（100 trillion），是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍（共一萬倍），是不是就能逼近人類大腦了？

有成本就需要收入。OpenAI 現在提供 API，就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」（Model as a Service, MaaS）。這大致可分三種應用：

● 垂直情境，簡單但量大的工作：如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習，但聘雇的是無限個實習生。
● 垂直情境內，困難但狹隘的工作：以 AlphaGo 為代表。它打敗所有人，但只會下圍棋。
● 不限情境，多樣性比正確性重要的工作：以 GPT-3 為代表，如虛擬秘書、虛擬陪伴（《雲端情人》）、發想劇本、草擬程式碼、撰寫科技分析電子報（咦）等。

MaaS 固定成本高，因此會傾向集中於大型平台，特別是擁有資料的企業，如 Google。邊際成本現在也很高，但應該會逐漸降低，因此有利於擁有最多客戶（用量）的企業，如 AWS、微軟。

目前 GPT-3 率先大步起跑，將引發其他企業加大投資。其他企業需要差異化，因此會開發封閉的模型；GPT-3 則會是開放或開源的形式。同時，週邊的企業也需要開發工具，形成生態圈。例如目前運算的延遲嚴重，因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示，才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論，歡迎試用島讀的 1 元訂閱方案：https://bit.ly/3myOL0D

---

更多人工智慧內容：
[Podcast] 從邊緣挑戰雲上的人工智慧｜特別來賓耐能智慧創辦人劉峻誠（公開）
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫｜執法機關熱烈採用｜三條路線（會員限定）
https://bit.ly/3p791an
蛋白質的 50 年難題｜AlphaFold 遙遙領先｜諾貝爾獎在望（會員限定）
https://bit.ly/2LSzIBt

自然語言處理( NLP，Natural Language Processing )使用演算法來理解和操作人類語言。這項技術是機器學習應用最廣泛的領域之一。隨著人工智慧( AI )的不斷發展，對專業人才的需求也在不斷增加，這些專業人才需要擅長建立分析語句和語言的模型，揭示語境模式，並從文字和音訊中產生洞察力。

在這個專業課結束時，你將準備好設計執行問答和情感分析的 NLP 應用程式，建立翻譯語言和摘要文字的工具，甚至建構聊天機器人。這些和其他 NLP 應用程式將處於即將到來的 AI 驅動的未來轉換的第一線。

這個專業課是由兩個 NLP、機器學習和深度學習的專家設計和教授的。Younes Bensouda Mourri 是 Stanford University 的人工智慧講師，他也幫助建立了深度學習專業。Ukasz Kaiser 是 Google Brain 的研究員，也是 Tensorflow、Tensor2Tensor 和 Trax 程式庫，以及 Transformer 論文的合著者。

https://softnshare.com/natural-language-processing/

論文原創性的比對雖能對「天下文章一大抄」產生嚇阻作用，但抄襲只是「學術倫理」問題的一部分，其他例如論文資料造假、論文找人代寫、重新編排他人論文等等，都不是比對軟體可以發現的，要靠的是老師和學生對於學術倫理的自我要求，尤其是老師的監督和教導更為重要。

然後不要忘了AI，美國OPENAI公布了利用機器學習的GPT-3（GENERATIVE PRETRAINED TRANSFORMER）軟體，堪稱是「萬用」的文字產生器。使用者輸入一段文字，它就會繼續生出下面的段落和句子，不斷重複下去，就曾經有用AI寫出來的論文被國際會議接受，這種也是比對不出問題的。

--
#論文 #抄襲 #學術倫理
只抓論文抄襲 有用嗎 - 國家政策研究基金會
Read more: https://www.npf.org.tw/1/23053

🍿在這支影片當中，觀眾朋友的提問如下，李老師都一一耐心回答惹(as always😊)
1. 機器可以回答哲學性的問題嗎？👉影片中，老師告訴你一個好玩的網站！
2. 神經網路架構的選擇方針？👉老師給出三個思考方向！
3. 老師有沒有Twitter? 👉影片揭曉！
4. 對機器學習領域未來發展趨勢的看法？👉影片揭曉！
5. 怎麼用Google sheets開發機器人？👉影片揭曉！

🍭可以跟你玩文字接龍的AI：https://talktotransformer.com/
🍭李宏毅老師有提到「GPT-2」的課程連結：https://www.youtube.com/watch?v=ugWDIIOHtPA


#跟你玩文字接龍的AI
#機器學習的未來
#選用神經網路架構的三撇步
#Generative Pre-Training (GPT)
#GPT-2
#Transformer
#Residual connection
#Deep Learning
#台大電機李宏毅專訪
#AI神奇模型訓練師
#珊蒂微AI
#人工智慧
#AI