pytorch gan實作 在 コバにゃんチャンネル Youtube 的精選貼文
「pytorch gan實作」的推薦目錄：
- 關於pytorch gan實作 在 コバにゃんチャンネル Youtube 的精選貼文
- 關於pytorch gan實作 在 大象中醫 Youtube 的最佳貼文
- 關於pytorch gan實作 在 大象中醫 Youtube 的最佳貼文
- 關於pytorch gan實作 在 Re: [問題] GAN 實作以及loss function的問題- 看板DataScience 的評價
- 關於pytorch gan實作 在 GAN實作模型 - YouTube 的評價
- 關於pytorch gan實作 在 【深度學習實作】5.4.1 生成對抗網路/GAN（實作） - YouTube 的評價
- 關於pytorch gan實作 在 gan生成對抗網路解析與實作2023-精選在臉書/Facebook/Dcard ... 的評價
- 關於pytorch gan實作 在 gan生成對抗網路解析與實作2023-精選在臉書/Facebook/Dcard ... 的評價
- 關於pytorch gan實作 在 這裡有一些我們的GAN （生成對抗網路）實做 - Facebook 的評價
- 關於pytorch gan實作 在 Pytorch手把手實作課程 - GitHub 的評價
- 關於pytorch gan實作 在 GAN入门实践（二）--Pytorch实现 的評價
pytorch gan實作 在 GAN實作模型 - YouTube 的推薦與評價
GAN實作 模型. AIR Studio人工智慧讀書會. AIR Studio人工智慧 ... #4.6 GAN 生成对抗网络( PyTorch tutorial 神经网络教学). 莫烦Python. 莫烦Python. ... <看更多>
pytorch gan實作 在 【深度學習實作】5.4.1 生成對抗網路/GAN（實作） - YouTube 的推薦與評價
完整課程連結https://www.youtube.com/channel/UCSivAooQ-OTLATS1dTT3DZw#deeplearning #深度學習#生成對抗網路# GAN #tensorflow #keras 0:00 ... ... <看更多>
pytorch gan實作 在 Re: [問題] GAN 實作以及loss function的問題- 看板DataScience 的推薦與評價
※ 引述《eggy1018 (羅密歐與豬過夜)》之銘言：
: 各位Data Science 版的大大們好，最近在深入研究GAN時，對於他的loss function的
了
: 解以及實作上仍存有疑惑。
: 問題點
: 最初開始推導的loss function 如下圖
:
: 意思是G, D min max這個function吧？換句話說是同個loss funcion？
: 可是....
: 在實作上G, D的loss function卻不太一樣
: Generator loss function
:
: Discriminator loss function
:
: 在自己以前學習的認知中，D要max上圖的Lisa function, G要min之，，所以我以為可
能
: 是同個loss function但是一個是正的一個是負的，然而實作上的方式卻跟數學意義上
不
: 太一樣...
: 希望各位版友能給我一點意見，真的卡了很久，謝謝大家！
剛好對GAN有些許了解，在這邊分享一下個人看法。
不常在PTT發文，希望排版不會太難看。
首先，GAN的發展非常快速，以下皆基於原始的GAN(Goodfellow et al. in NIPS 2014)討
論。
先回答原Po的問題：為什麼原Po貼的程式碼(應該是PyTorch-GAN)中，generator與discri
minator實作是這樣寫？
參考下圖GAN的objective function V，以gradient decent來說，一般GAN實作的loss fu
nction確實是只差一個負號：discriminator為-V，generator為V。至於程式碼上為什麼
好像不只是差一個負號是因為V的其中一部分generator根本不需要考慮，也就是真實的觀
測資料部分，就算寫進loss function，對generator來說也是屬於常數，偏微分後會消去
，因此在寫code時一般直接省略。
在原Po貼的程式碼中，先不管那個auxiliary_loss，discriminator在adversarial_loss
計算了兩次：一次計算真實資料與正類標籤(code中的valid)的binary cross entropy (
以下簡稱BCE)，一次計算生成資料與副類標籤(code中的fake)的BCE。而generator只計算
生成資料與「正類標籤」的BCE。
以實作上來說，generator與discriminator的loss好像是差一個負號的事情。但以理論上
兩者的目標卻不是僅僅是差一個負號這麼單純。要說到generator與discriminator的目標
，那就不得不談一下GAN到底解決的什麼問題。
回顧一下所謂的generative model。在機率統計理論中, 生成模型(generative model)是
指能夠隨機生成觀測數據的模型。所以訓練一個generative model其實就是希望模型輸出
與觀測數據的分布越接近越好，或者說minimize這兩者之間的divergence。
如果說我們的generative model是一個簡單的model，比如說Gaussian mixture model，
那麼算個divergence，比如說JS divergence，就是一件不難的事情。但如果今天generat
ive model是一個neural network，那就有點困難了。
而這就是GAN厲害的地方，GAN很聰明地使用到了經過訓練的分類器其實可以一定程度第代
表資料的divergence這件事，用實質為分類器的discriminator估divergence，並以此訓
練generator。
所以實際上也不能說discriminator在minimize BCE而generator在maximize BCE，而是di
scriminator在minimize BCE，而generator在maximize discriminator可以找到的最小BC
E。
為了盡量逼近這個目標，GAN一般採用交互訓練的方法，先訓練discriminator數次，在訓
練generator一次，如此重複直到訓練結束。
附帶一提，Goodfellow在2014年的論文中discriminator與generator的loss也不只是差一
個負號，不過其實照他的方法或是直接加負號都是可以訓練的。
---
以上拋磚引玉提供一點粗淺見解。
希望有幫助，也歡迎一起討論。
關於一些GAN的細節可以參考這篇文章
https://tinyurl.com/y4l2q5vf
或是李宏毅老師的這段投影片
https://youtu.be/DMA4MrNieWo
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.194.88.184 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1601307471.A.C6F.html
※ 編輯: janus7799 (123.194.88.184 臺灣), 09/29/2020 01:20:57
... <看更多>