GPT-2 เป็นโมเดลทางภาษา
เป็นปัญญาประดิษฐ์ (deep learning)
ทีมผู้สร้างคือ OpenAI
มันมีความสามารถหลากหลาย เช่น
อ่านทำความเข้าใจเนื้อหา แปลภาษา ตอบคำถาม และเขียนสรุป
.
แต่เนื่องจากผู้สร้างกลัวคน
จะนำเอา AI ไปใช้ในทางที่ผิด
เช่น สร้างข่าวปลอม โพสต์ปลอมในโลกโซเซียล เป็นต้น
เลยปล่อยตัวโมเดลที่โง่ออกมา
ใครอยากให้ฉลาด ก็เอาไปสอนเองนะครับ
.
สนใจงานวิจัยชินนี้ก็ตาม blog นี้
https://blog.openai.com/better-language-models/
งานตีพิมพ์
https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
ส่วนโค้ด
https://github.com/openai/gpt-2
....
รันไม่ยากครับ ลองดูได้เลย
จะยุ่งยากตอนเซทโปรเจคหน่อย
เป็นภาษา python นะครับ
แต่เนื่องจากมันเซทยุ่งยาก เลยแชร์โค้ดให้ลองเล่นผ่าน colab ไม่ได้ต้องเซทอะไรให้ยุ่งยาก
https://colab.research.google.com/drive/1lZoaSLo2Ip-mlBNUFpjKhVAPWDenbRCu
.
อ่านต่อ
https://www.patanasongsivilai.com/blog/gpt-2-generate-sentences/
...
ให้ความรู้เพิ่มเติม สำหรับโมเดลภาษาแบบนี้ที่เป็น AI
โลกนี้ไม่ได้มีแค่โมเดลนี้อันเดียว
ก็มีหลายทีมวิจัยสร้างขึ้นมาแข่งกัน เช่นกัน
- BERT model ของ Google
https://github.com/google-research/bert
- Transformer-XL model ของ Google/CMU
https://github.com/kimiyoung/transformer-xl
- new-mt-dnn ของ Microsofts
https://medium.com/syncedreview/microsofts-new-mt-dnn-outperforms-google-bert-b5fa15b1a03e
:
เขียนโดยโปรแกรมเมอร์ไทย thai programmer
ฝากติดตาม https://youtu.be/i2fmwGOveOo
「dnn deep learning」的推薦目錄:
- 關於dnn deep learning 在 โปรแกรมเมอร์ไทย Thai programmer Facebook 的最讚貼文
- 關於dnn deep learning 在 iThome Security Facebook 的最讚貼文
- 關於dnn deep learning 在 MIC Friends Facebook 的最佳貼文
- 關於dnn deep learning 在 Python TensorFlow 實作神經網路範例I - GitHub 的評價
- 關於dnn deep learning 在 Intel(R) MKL-DNN: A Performance Library for Deep Learning 的評價
- 關於dnn deep learning 在 What is the difference between a neural network and a deep ... 的評價
- 關於dnn deep learning 在 Building DNN architectures, ML models, and training pipeline ... 的評價
- 關於dnn deep learning 在 The 2nd Architecture, Compiler, and System Support for Multi ... 的評價
dnn deep learning 在 iThome Security Facebook 的最讚貼文
有越來越多資安廠商或網路設備商,開始用機器學習(Machine Learning,ML)來優化網路安全產品,Aruba也是一例。而在機器學習之外,採用深度學習(Deep Learning)技術,來加強企業無線、有線網路安全防護,將成未來一大趨勢。
在深度學習之下,將能建立更多層類神經網路模型(DNN),以解決更複雜網路安全問題,甚至是,這些還未曾發現過的未知的未知(Unknown unknown)風險。
但是,目前最大的挑戰,是要取得大量可供深度學習訓練的資料。現在的狀況是,這些訓練用數據,皆來自企業用戶用於部署網路設備產生的資料,並非屬於涉及隱私安全的數據。
然而,若是想要提高學習成效,就需要更多不同類型取樣資料,包括釣魚郵件、可疑C&C DNS、用戶不正常存取、檔案上傳等數據,來做學習訓練才行
dnn deep learning 在 MIC Friends Facebook 的最佳貼文
【SONY與深度學習】
SONY於2017年8月宣布,將免費提供可產生深度學習(deep learning)程式的整合開發工具,讓使用者透過GUI (圖像介面)操作,即可輕鬆開發用於高精度影像辨識等之「深度神經網路」(deep neural networks,DNN)。該公司於6月開放開源(open source)的深度學習框架(framework)「Neural Network Libraries」作為其基礎技術,以提供各種功能者。
SONY這一連串動作的最大目的,在於希望帶動DNN應用在崁入式系統產品。SONY系統研究開發本部要素技術開發部、AI核心技術開發部Senior Machine Learning Researcher小林由幸表示:「崁入式系統產品使用各種晶片。為了在這些晶片上執行DNN的處理並進行最佳化,可使用我們的框架」。
在伺服器和雲端環境,已有很多用來開發DNN的開源深度學習框架。也有許多意見認為,在Google的「Tensor-Flow」領軍下,標準已逐漸底定。不過,也有崁入式研發涉獵極深的工程師認為:「崁入式用途的標準則現在才要開始成形」。因此,即便是後發的SONY也有極大的機會
更多趨勢與活動
https://goo.gl/TRUJ2g AISP
https://goo.gl/uqqfeg MIC EVENT
dnn deep learning 在 Intel(R) MKL-DNN: A Performance Library for Deep Learning 的推薦與評價
The Intel(R) Math Kernel Library for Deep Neural Networks (Intel(R) MKL-DNN) is an open source performance library for Deep Learning (DL) applications ... ... <看更多>
dnn deep learning 在 What is the difference between a neural network and a deep ... 的推薦與評價
I know that a DNN must have multiple hidden layers. However, 10 years ago in class I learned that having several layers or one layer (not ... ... <看更多>
dnn deep learning 在 Python TensorFlow 實作神經網路範例I - GitHub 的推薦與評價
Contribute to TommyHuang821/Deep-Learning-API-example development by creating an ... Deep-Learning-API-example/TensorFlow/TF 範例I (DNN Classification).md. ... <看更多>