Search
以頂抽（Top loading）方式置入伺服器，達到超高儲存密度配置的做法，早已不是新鮮事，有些廠商能在4U機箱當中安裝90臺、100臺3.5吋硬碟；為了強化運算能力的密度，則可能會搭配兩節點的模組；若要再搭配GPU，就更少見了。而Dell去年發表的PowerEdge XE7100，正是兼具這些特色的伺服器。
若全部搭配18TB硬碟，憑藉著XE7100採用的5U尺寸機箱，可容納100臺硬碟，總共提供1.8 PB儲存空間，若在1座42U尺寸的機櫃，裝上8臺XE7100，可提供14.4 PB儲存空間；而在運算能力上，這款伺服器可搭配2顆18核心第二代Xeon Scalable處理器，再搭配1張Nvidia V100S GPU或4張T4 GPU，足以處理深度學習的應用。
https://www.ithome.com.tw/review/146173
「特斯拉在 AI Day 上發表的 DOJO 超級電腦中，使用的 D1 晶片，如今成為效能最強大的晶片。「Intel 為何落後給 NVIDIA？是因為在深度學習的需求下，GPU 的細粒平行計算架構更適合神經網路使用。」Steve Jurvetson 指出，基於人工智慧的需求，像 Tesla D1 這種特製化的 ASIC，將會是未來電腦運算能力的領先者，並讓摩爾定律再延續至少 20 年。」
#線上研討會
《敬邀參加》強強聯手！NetApp + NVIDIA – AI智能的極致表現， 搶攻未來新商機
NetApp ONTAP AI 由 NVIDIA DGX 系統和 NetApp支援雲端的 All Flash 儲存設備，共同提供穩定可靠的運算效能並簡化資料流程，加速分析、訓練和整合資料傳輸的途徑，協助企業充分實現 AI 和深度學習 (DL) 的優勢，歡迎報名參加！
開講時間：2021/8/27(五) 下午2:00-3:00 (台灣時間)
開講主題：
主題一：NetApp ONTAP AI 如何完美呈現 ML/DL 智慧數據
主題二：全球最強 GPU 如何加持 AI 運算秘訣– NVIDIA A100
主題三：全面整合雲端、資料中心與邊緣運算
我要報名👉 https://reurl.cc/Dgr66d
本集廣告與「NVIDIA」合作播出
4/12 - 4/16 #NVIDIA 年度 GPU 技術大會 #GTC21 即將盛大登場
✔️ 上千場跨國講座，免費線上隨選觀看
✔️ 線上朝聖 AI 界大神｜ 3 位圖靈獎得主 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 的獨家演說！
✔️ 4/13 上午九點｜執行長黃仁勳的主題演講
✔️ 4/14 - 4/16 「DLI 深度學習實作坊」提升備戰力！學生、研究人員或團體報名另有優惠
💡 預約 Keynote 行事曆：https://nvda.ws/3dPlZYe
🧠 臉書活動資訊：https://nvda.ws/3d6QCpQ
✉️ 獲取 DLI 實作訓練相關優惠 GTC_Taiwan@nvidia.com
本集節目內容由志祺七七頻道製作，不代表「NVIDIA」立場。
--
✔︎ 成為七七會員（幫助我們繼續日更，並享有會員專屬福利）：http://bit.ly/shasha77_member
✔︎ 購買黃臭泥周邊商品： https://reurl.cc/Ezkbma 💛
✔︎ 訂閱志祺七七頻道： http://bit.ly/shasha77_subscribe
✔︎ 追蹤志祺IG ：https://www.instagram.com/shasha77.daily
✔︎ 來看志祺七七粉專 ：http://bit.ly/shasha77_fb
✔︎ 如果不便加入會員，也可從這裡贊助我們：https://bit.ly/support-shasha77
（請記得在贊助頁面留下您的email，以便我們寄送發票。若遇到金流問題，麻煩請聯繫：service@simpleinfo.cc）
＃Yahoo奇摩 ＃知識+
各節重點：
00:00 開頭
01:26 【 Nvidia 】一分鐘廣告
03:11 為什麼會有知識+？（5點）
04:13 知識+是怎麼運作的？（10點）
05:32 大家為什麼喜歡知識+？（20點）
06:40 為何知識+開始走下坡？（20點）
08:19 知識+以外，哪裡有更好的問題跟答案？（15點）
09:39 我們的觀點
11:36 問題（7點）
11:55 結尾
【 製作團隊 】
｜企劃：冰鱸
｜腳本：冰鱸
｜編輯：土龍
｜剪輯後製：絲繡
｜剪輯助理：珊珊
｜演出：志祺
——
【 本集參考資料 】
→知識+ 將於 2021 年 5 月 4 日關閉：https://bit.ly/3g1Ne2y
→Yahoo! Answers (wiki）：https://bit.ly/3wWCWaj
→Yahoo奇摩知識+將走入歷史 5/4終止16年服務：https://bit.ly/3wMNzvX
→Yahoo Answers will be shut down forever on May 4th：https://bit.ly/2OGVnyn
→告別「20點求解！」的年代 Yahoo奇摩知識+下台一鞠躬：https://bit.ly/2PUjyKd
→Yahoo奇摩知識+走入歷史！16年來解決2千萬則問題，為何最終仍變成時代眼淚？：https://bit.ly/2RtRbD6
→Yahoo奇摩知識+ 上面的怪問題：https://bit.ly/3fZyLEt
→Yahoo launches Q&A service：https://bit.ly/3mFmYMN
→Yahoo! Search Leverages Human Knowledge From Yahoo! Answers to Improve Web Search; Yahoo! Answers Surpasses 10 Million Answers to Everyday Questions From Real People：https://bit.ly/3d9TR1d
→Yahoo Answers was the most earnest place on the internet：https://bit.ly/328rABQ
→Why is Quora better than Yahoo Answers?：https://bit.ly/3a3ABjW
→為什麼知識 這麼難用啊？很不方便使用？：https://bit.ly/328rytI
→為何YAHOO知識這麼難用：https://bit.ly/2PZe5lf
→奇摩知識共分幾級,各階段點數多少才能晉升等級：https://yhoo.it/3mD0g82
【 延伸閱讀 】
→ 《星箭廣播》102 集——傳說中，工程師沒有這個網站就不會寫程式（ft. Richard）：
https://bit.ly/3a6YaZf
＼每週７天，每天７點，每次７分鐘，和我們一起了解更多有趣的生活議題吧！／
🥁七七仔們如果想寄東西關懷七七團隊與志祺，傳送門如下：
106台北市大安區羅斯福路二段111號8樓
🟢如有引用本頻道影片與相關品牌識別素材，請遵循此規範：http://bit.ly/shasha77_authorization
🟡如有業務需求，請洽：hi77@simpleinfo.cc
🔴如果影片內容有誤，歡迎來信勘誤：hey77@simpleinfo.cc
本集廣告與「NVIDIA」合作播出
4/12 - 4/16 #NVIDIA 年度 GPU 技術大會 #GTC21 即將盛大登場
✔️ 上千場跨國講座，免費線上隨選觀看
✔️ 線上朝聖 AI 界大神｜ 3 位圖靈獎得主 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 的獨家演說！
✔️ 4/13 上午九點｜執行長黃仁勳的主題演講
✔️ 4/14 - 4/16 「DLI 深度學習實作坊」提升備戰力！學生、研究人員或團體報名另有優惠
💡 預約 Keynote 行事曆：https://nvda.ws/3dPlZYe
🧠 臉書活動資訊：https://nvda.ws/3d6QCpQ
✉️ 獲取 DLI 實作訓練相關優惠 GTC_Taiwan@nvidia.com
本集節目內容由志祺七七頻道製作，不代表「NVIDIA」立場。
--
✔︎ 成為七七會員（幫助我們繼續日更，並享有會員專屬福利）：http://bit.ly/shasha77_member
✔︎ 購買黃臭泥周邊商品： https://reurl.cc/Ezkbma 💛
✔︎ 訂閱志祺七七頻道： http://bit.ly/shasha77_subscribe
✔︎ 追蹤志祺IG ：https://www.instagram.com/shasha77.daily
✔︎ 來看志祺七七粉專 ：http://bit.ly/shasha77_fb
✔︎ 如果不便加入會員，也可從這裡贊助我們：https://bit.ly/support-shasha77
（請記得在贊助頁面留下您的email，以便我們寄送發票。若遇到金流問題，麻煩請聯繫：service@simpleinfo.cc）
＃外太空條約 ＃南極條約 ＃月球協定
各節重點：
00:00 開頭
01:09 【NVIDIA GTC Spring】一分鐘廣告
02:50 聯合國的《外太空條約》
04:09 解決南極紛爭的《南極條約》
05:57 《南極條約》的極限？
07:01 所有人共享資源的《月球協定》
08:19 官方不能佔為己有，那民間呢？
09:27 美國不玩了！
10:36 我們的觀點
12:13 問答
12:33 結尾
【 製作團隊 】
｜企劃：宇軒
｜腳本：宇軒
｜編輯：土龍
｜剪輯後製：鎮宇
｜剪輯助理：歆雅、珊珊
｜演出：志祺
——
【 本集參考資料 】
SpaceX 建立火星基地的相關報導
→Elon Musk says SpaceX is on track to launch people to Mars within 6 years — here's the full timeline of his plans to populate the red planet' - Insider：https://bit.ly/3rTlK1w
外太空條約相關討論
→50岁的《外层空间条约》名存实亡？ - 中国航天科技集团：https://bit.ly/3sSAAqs
→Extraterrestrial real estate：https://bit.ly/3wx6Cu3
→月球协定：https://bit.ly/3dHCXWN
南極條約 相關討論
→南極條約體系 - Wikipedia：https://bit.ly/31PiEky
→南極條約一甲子，老而彌堅還是行將就木？ - 鳴人堂：https://bit.ly/3cUi23o
月球土地和資源利用等相關討論
→無主之地的管轄權：在南極和太空犯罪要歸誰管？ - 法操：https://bit.ly/3uq3Ox3
→摘下星星送給你–國家或個人可以把星體當自己的嗎？ - 法操（這裡面有在月球上成立國家的案例）：https://bit.ly/3mmUGq6
→你真的能買下月球的土地嗎？ - 天下雜誌（裡面有提到Lunar Embassy Corp 的例子）：https://bit.ly/3dxjGXS
→月球土地先佔先贏？ - 科學人：https://bit.ly/3mjYLLW
→在月球上炒「地皮」 - 科學Online：https://bit.ly/2PDhhD1
→月球屬於誰？ - 泛科學：https://bit.ly/2RbJSzO
NASA 阿提密斯協定
→8國簽署Artemis Accords協議 訂定探索月球標準 - 科技政策研究與資訊中心：https://bit.ly/3rSnHvb
→NASA 發布新版月球探索公約《阿提米絲協議》，鼓勵資源開採 - 科技新報：https://bit.ly/3mmPYc0
→人類月球探索：誰將擁有月球資源的開採權？ - BBC 中文：https://bbc.in/2PUSQ3M
【 延伸閱讀 】
→富豪星際爭霸戰（上）：馬斯克、貝佐斯與他們的太空事業 - 鳴人堂：https://bit.ly/3cTbaU4
→富豪星際爭霸戰（下）：雲端、衛星與國防，誰能把握太空經濟先機？ - 鳴人堂：https://bit.ly/39OlFWy
→Making Humans a Multi-Planetary Species‘ - Elon Musk：https://bit.ly/3mo879n
→SpaceX's Mars Colony Plan: How Elon Musk Plans to Build a Million-Person Martian City：https://bit.ly/2PZAChw
→How SpaceX's Starship Will Help Establish a Mars Base ：https://bit.ly/39NYxaV
→Elon Musk on planning for Mars: ‘The city has to survive if the resupply ships stop coming from Earth’ - CNBC：https://cnb.cx/2PGUYw9
→公地悲劇—The tragedy of the commons：https://bit.ly/3fL7h5l
＼每週７天，每天７點，每次７分鐘，和我們一起了解更多有趣的生活議題吧！／
🥁七七仔們如果想寄東西關懷七七團隊與志祺，傳送門如下：
106台北市大安區羅斯福路二段111號8樓
🟢如有引用本頻道影片與相關品牌識別素材，請遵循此規範：http://bit.ly/shasha77_authorization
🟡如有業務需求，請洽：hi77@simpleinfo.cc
🔴如果影片內容有誤，歡迎來信勘誤：hey77@simpleinfo.cc
【零壹解決方案】 NVIDIA GPU 加速深度運算應用全進化處於人工智慧技術開發的全新時代， NVIDIA GPU 透過雲端 深度學習 軟體架構，在 深度學習 的領域獨步天下，有效提升運算 ... ... <看更多>
nvidia深度學習gpu 的問題，我們搜遍了碩博士論文和台灣出版的書籍，推薦EliStevens,LucaAntiga,ThomasViehmann寫的 核心開發者親授!PyTorch深度學習攻略 和楊強的聯邦 ... ... <看更多>
nvidia深度學習gpu 在 Re: [菜單] 200K深度學習機- 看板PC_Shopping - 批踢踢實業坊 的推薦與評價
: 更新 ：謝謝各位大大的建議，跟老闆討論過後預計朝請廠商報小型工作站
: 的單子，預算雖然說是沒有問題但也可能沒辦法買DGX@@，讓電蝦的
: 各位失望了
: 非常謝謝各位的建議，還請有點火氣上來的前輩們消消氣
原PO後來請廠商報小型工作站是聰明的決定
十萬的單子還上來求建議 表示對硬體的了解度沒有信心
雖然廠商也不一定懂
但讓廠商全權開規格 之後有問題廠商可以協助處理
廠商能除錯的資源還是比個人多些
上頭的人追究下來也有個廠商負責
100萬內的科研採購 雖然不用招標 但也總要有個廠商陪著跑文件
廠商多賺的錢就當服務費 省心
====
所以深度學習的機器到底要怎麼買？
剛好最近有些採購 也略有研究
以下是個人心得 不一定正確 在此做個筆記記錄
====
買電腦 第一先問預算 再問需求
但這次先問需求
真的需要一台GPU Server嗎?
在PC上開發模型，真正的大量資料上AWS、Azure、GCP、國網中心的雲端GPU做訓練
如果這樣的工作流不符合需求 (反正會有各種理由不行)
那也只好買台ML主機放地上了
如果預算沒有上限 (好幾個億花不完)
直接請廠商送NVDIA DGX Pod來就可以了
https://tinyurl.com/y3k63fo2
Easy Deployment of DGX Servers for Deep Learning
超Easy
預算不到億但超過千萬
DGX-2就在預算內
https://www.nvidia.com/zh-tw/data-center/dgx-2/
但NVIDIA要求購買DGX-2的單位最好要先有DGX-1的經驗
預算超過500萬就能買一台DGX-1
https://www.nvidia.com/zh-tw/data-center/dgx-1/
預算200萬上下你可以考慮買DGX Station
https://www.nvidia.com/zh-tw/data-center/dgx-station/
以上的價格都是我夢到的 詳細數字請打電話問業務
如果對於NV原廠機的配置不夠滿意
想要更換CPU RAM想加大點 儲存空間想調整
或是想把錢都砸在GPU 其他部分精簡
DELL HPE都有多GPU系列機器可客製化
嫌國外一線廠牌太貴 國內的華碩、麗台也都有GPU Server可以挑
怕被廠商坑可以先上DELL或HPE的美國官網點點配置
大概有個行情概念
錢能解決的問題都不是問題 最大的問題是沒有錢
沒錢的實驗室想買GPU Server來做深度學習
這時就要問情境了
是否願意犧牲機器穩定性、資料正確性來換取效能??
實驗室有多少人要用?
同時用還是排隊用?
有沒有專人管理維護伺服器?
如果真的要自己進這個坑就繼續吧
經驗告訴我 多人同時使用一台GPU server體驗很糟的
不只GPU是資源
CPU核心、CPU快取、PCIe頻寬、記憶體頻寬、記憶體容量、storage IOPS
全部都是瓶頸
8個人同時用一台8 GPU的server
就算一個人限制一顆GPU 8個人全部卡死
所以GPU server的使用情境是
- 訓練資料量太大了 需要多張卡做多倍的加速
(舉例：只能接受8張卡train 3小時 無法接受1張卡跑24小時)
- PC、HEDT的記憶體不夠
- 需要超多核心的CPU算力來做計算前處理
這時候又有人能管理伺服器(實驗室成員排隊不會吵架)
那可以買大台的server
一個人一個人輪流用 其他人只能等
推文裡有人買2xTITAN RTX主機45萬
若用不到512GB RAM或24GB VRAM或超多核心的算力
可以買5台9萬的PC 能用同時用的人更多 算力也更高 (2 GPU vs 5 GPU)
====
最後才是考慮組裝個人電腦來用
那組裝深度學習的主機 零件怎麼挑呢？
我不知道版上有多少人真的在深度學習
說不定我也沒有玩過 上來唬爛一通
下面的解釋都是心得 也不一定對 就當參考
CPU
有人說深度學習主機的CPU不重要
我不認為不重要
或者說 不重要不代表可以忽視
不然隨便拿個i3或Xeon Bronze亮機就好
CPU快的主機還能拿來做其他運算
非深度學習無GPU加速的機器學習算法也可以跑
GPU運算是需要CPU送資料進去的
若CPU需要做些前處理 算力不夠會導致資料產出速度不足導致GPU閒置
另一個就是PCIe頻寬 多卡時有機會塞車
(推文有人問ML主機跟礦機差在哪
礦機基本上不需要PCIe頻寬 一小段資料送進GPU爆hash出來
ML主機是大量的資料通過GPU 還有神經網路的權重更新問題
頻寬需求不同)
CPU的算力若要在高頻少核與低頻多核間選一個
我會選高頻少核 泛用性比較高
畢竟如果不是跑固定的商用軟體或開源軟體
很難確定平行化的效果如何
最後至少還有個單核硬上的選項
另外就是
我懷疑nvidia的驅動只有單核在跑 要是單核不夠力 GPU會比較慢
以上是推測 沒有直接證據
至於AMD CPU (先說明這是現在的狀況 2019/7/7後會不會改變我不知道)
Zen架構與Skylake架構相比
浮點運算AMD就是弱勢 (4個128bit 兩個加法兩個乘法 vs 2個256bit加乘皆可)
AVX 256bit AMD直接是Intel半速
更不用說要是程式用了Intel的編譯器或數學庫(MKL, MATLAB或numpy都會用到)
偵測到不是intel的CPU 直接執行相容性最高(最慢)的機器碼
AMD的CPU遇到奧步很難跑得比INTEL的快
至於HEDT平台
9980XE與2990WX我手上都有
版上隨便推人買2950X或2990WX是很不負責任的
我的建議是 除非你的程式在X399平台上測過真的比較快(或是一樣快但比較便宜)
不然買intel真的比較不會有性能問題
商人不是笨蛋 18核的9980XE與32核的2990WX才會沒什麼價差
實際測試這兩顆互有輸贏
如果你的程式是
- 多核平行化得很好 單核慢沒關係
- 有NUMA支援 不會卡RAM頻寬或CPU之間
- 浮點不重要 AVX 512沒差 且不會被intel軟體奧步
那2990WX有機會贏 但還是建議要測過再購買
(不到6萬就能體驗4路不對稱NUMA所帶來的各種奇葩效能問題 超值)
RAM
通道插滿 越大越好
做正事的機器不建議用超頻記憶體 標準條很棒
2019年 記憶體需求超過64GB 只能選HEDT
超過128GB 只能選工作站
超過512GB 只能選Server
嚴格要求資料正確性請買ECC
MB
主流平台挑選跟一般開菜單一樣
VRM散熱與設計挑一下
要是VRM供電不足 可能連維持全核Turbo都有問題
其他沒什麼重點
HEDT平台要看一下PCIe通道設計
針對ML需求會不會塞車
每張卡至少要x8 塞在CPU端或GPU端都會有影響
CPU散熱
i7-8700的原廠散熱沒有辦法在燒機下維持全核Turbo 4.3GHz
真的垃圾
比原廠散熱器好的都可以
GPU
重點來了
針對深度學習 第一要考慮的就是VRAM大小
VRAM決定了能放多複雜的模型下來算
(有人會說Unified Memory啊或是什麼NVLink合併記憶體的
會自己寫底層用這兩個功能的人就不會上來問問題了
Tensorflow可以開Unified Memory拿主記憶體硬跑
代價是效能剩10分之一 [PCIe x16頻寬約GDDR6 1/10]
NVLink自動合併記憶體 我還沒看到Tensorflow或Pytorch有支援
至少我在V100上是開不出自動合併 會的人麻煩教學一下
手動將模型拆放在兩張又不會卡頻寬也是需要花時間調整的)
還有batch size能開多少(這個可以透過多卡增加)
如果只是玩票性質的深度學習
6GB VRAM應該都能試跑常見的模型
如果是拿來做事的
11GB VRAM的是首選
因此消費級能挑的卡有
11GB
1080ti
2080ti
12GB
GTX TITAN X
TITAN X
TITAN Xp
TITAN V
24GB
TITAN RTX
Quadro卡很貴 也沒有特別快
除非你想買Quadro RTX 8000有48GB VRAM
不然光看規格 我找不到買Quadro RTX 6000而不買TITAN RTX的理由
(其實有 Quadro RTX 6000是鼓風扇 多卡散熱比TITAN RTX好)
Tesla卡是被動散熱沒有風扇
都是跟著設計過的機架出貨
就算搞到手裝在一般機殼也是直接燒掉
如果要使用多卡 一定要用渦輪扇版本的強制排氣
不然連跑幾個小時 直接熱死
再來要考慮的就是算力
如果會用半精度fp16訓練(AMP之類的)
有Tensor Core的TITAN RTX、2080ti、TITAN V有絕對優勢
(雖然2080ti的Tensor Core在fp16/fp32混和精度被老黃閹成半速 但還是很快)
只用fp32的話請直接看wiki Single precision欄位
https://en.wikipedia.org/wiki/List_of_Nvidia_graphics_processing_units
TITAN V與TITAN RTX比較
TITAN V是HBM 某些吃VRAM頻寬的模型計算速度上會快些
TITAN RTX的VRAM比較大且有NVLink
NVLink的效果 有幫助但沒有很顯著
Puget Systems上關於GPU跑深度學習的測試文都可以看看
https://www.pugetsystems.com/search.php?query=+Machine+Learning
TITAN V與TITAN RTX個人會選RTX
慢一點等就好 (沒用Tensor core速度根本沒差)
放不進VRAM連算都不用算
PCHome定價還比較便宜
Storage
都2019了 SSD必備吧
額外的硬碟、RAID或是NAS就看預算
另外NVMe組RAID 0不會增加隨機讀取IOPS 不要為了這個浪費錢
Power
如果放機器的地方沒有220V
組4卡機器可能要考慮一下
1500W推4張TU102+CPU其實很拚
====
最後是菜單 線上隨便點的 別真的拿去組
80K 深度學習文書PC
CPU (中央處理器)：
Intel i9-9900K【8核/16緒】3.6GHz(↑5.0GHz)/16M/95W
15800
Cooler (散熱器)：
利民 Silver Arrow T8 8根導管(6mm)/TY-143B*1/雙塔/高度15.8cm/TDP:320W
2400
MB (主機板)：
技嘉 Z390 AORUS ELITE 翼力特(ATX/1H/Ｉ網/一體式檔板/註五年)
4890
RAM (記憶體)：
KLEVV(科賦) 16GB DDR4-2666/CL16
4x1888 7552
VGA (顯示卡)：
技嘉 RTX2080Ti TURBO 11G(1545MHz/27.2cm/註四年)
36890
SSD (固態硬碟)：
威剛 XPG SX8200Pro 1TB/M.2 PCIe 2280/讀:3500M/寫:3000M/TLC【五年保】附散熱片
4380
HDD (硬碟)：
Toshiba 6TB【企業級】128MB/7200轉/五年保(MG05ACA600E)
5390
PSU (電源供應器)：
全漢 聖武士 650W/銅牌/全日系/DC-DC/5年免費/CPU主線:18AWG
1990
CHASSIS (機殼)：
全漢 CMT240B 炫鬥士 黑 顯卡長37.3/CPU高17.9/壓克力透側/上開孔/ATX
1090
====
300K 深度學習入門PC
處理器 CPU:
Intel i9-9980XE【18核/36緒】3.0G(↑4.4GHz)/24.75M/165W/無內顯【代理盒裝】
61000
主機板 MB:
華碩 WS X299 SAGE/10G(CEB/8*D4/雙Ｉ網-10G/2*M.2/1*U.2/三年)
21900
記憶體 RAM:
美光 Micron Crucial 16G DDR4-2666
8x2099 16792
固態硬碟 M.2｜SSD:
三星Samsung 970 PRO NVMe 1TB/M.2 PCIe 讀:3500/寫:2700/MLC/五年保
13500
傳統內接硬碟HDD:
Toshiba 10TB【企業級】256MB/7200轉/五年保(MG06ACA10TE)
9990
散熱器:
利民 Silver Arrow IB-E Extreme 8根導管(6mm)/雙塔/高度16cm/TDP:320W【VWX】
2890
顯示卡:
華碩 TURBO-RTX2080Ti-11G(1545MHz/26.9cm/註四年)
4x38990 155960
機殼:
海盜船 Carbide Air 540 黑 顯卡長31/CPU高17/SSD*6(2共用)/E-ATX
4490
電源供應器:
全漢 CANNON 2000W 雙8/全模/全日系/1年保固/六項保護/支援18組PCI-E 6+2PIN
12900
====
300K那組可再往上調整一階成自組工作站
CPU可換Xeon W-2195
MB可換ASUS WS C422 SAGE/10G
RAM加到512GB
VGA換成2x Titan RTX
====
再往上就不要自組或白牌server了啦
驗證也是要錢的 廠商的人力服務支援都是錢
更高階的機器不是所有零件裝上去就會動的
散熱、供電、各零件相容性都是眉角
花了幾百萬經費買了不會動的機器 一定被教授砍死
這邊都還只有講到硬體
要是管理伺服器的人
軟體部分OS、CUDA driver等等設定無法自己來
還是要有個廠商在後面支援才好
啥都不懂買品牌機就對了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.145
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1559148243.A.200.html
唯一做法就是換Optane
8xSAMSUNG 970 PRO 1TB 贏不了900p 我測過了
過一個RAID還會增加延遲 IOPS反而下降
但容量 隨機寫 連續讀寫 還是有幫助 就看目的
要看情境
9900k就是小台的機器
64G RAM + 1~2GPU
2697v3應該是雙路大台的機器
爆幹大的RAM + 4~8GPU
大台的機器拆成小台給多人用 會比買一堆小台的給多人用起來慘
一堆小台的機器很難在需要大量算力時湊成一台大台的
(可以挑戰從eBay上買拆機100Gbps網卡組叢集 成功了功力++)
所以取決於你的需求
半精度/混合精度的訓練當然是非常tricky
速度雖然快 vram用量有機會減半 但不一定train得起來
沒解決也只能用fp32跑
單精度fp32的狀況下
V100 GV100 TITAN V TITAN RTX 2080ti 1080ti
(其實沒有差很多)
雙精度fp64在深度學習比較少見
跑模擬或工程CAD才會用到 (這時才買Quadro)
VRAM大能放複雜的模型或是batch size更大
更大的batch size比較能提升GPU利用率
(調高batch size後 計算速度變快是因為GPU與VRAM頻寬使用率上升
這兩種滿載後 batch size調更大也不會加速
滿載下才是比晶片算力還有記憶體頻寬 HBMvsGDDR)
雖然batch size大不一定收斂得比較快(時間上)
但大VRAM至少能讓你有選擇的空間
會用OpenCL全部自己來的大神
一定相當了解自己的程式需要什麼硬體資源 就不會上來問菜單了
但對於不懂的人寫出來的code 87%是需要單核效能
更不要說什麼花時間調整後
gcc + OpenBLAS + OpenCL @A+A
就能對抗
icc + MKL + CUDA @I+N
對於一般人來說還是太遙遠
※ 編輯: fo40225 (140.112.16.145), 06/01/2019 00:58:38
... <看更多>