Search
本期周報重點：
★深化AI國力，美跨司法、國防、商務部組隊給總統與聯邦機構建議
★臉書新語音合成模型完全不需文字訓練資料！
★Uber詳解開源大數據分析平臺省錢術（上）：檔案瘦身、HDFS抹除碼、YARN排程優化
★Salesforce開源程式碼生成器
★擁5億用戶的語言學習App Duolingo打造模型預測使用者答題機率，要動態出題
★中鋼AI挑戰賽開跑！
#看更多：https://www.ithome.com.tw/news/146738
⚡อยากทำโปรเจกต์สาย Data แต่ไม่รู้จะเลือกใช้ Libs ไหนดี ?? วันนี้เรารวบรวมมาให้แล้วจ้าา !!
.
กับ 5 Library เจ๋ง ๆ ที่สาย Data Science ต้องเลิฟ ! 😍
.
มีอะไรบ้างง ไปดูกันเลยจ้า
.
❤️ 1) NumPy
เป็น Library ที่พร้อมสำหรับการทำ Data Science ซึ่งจะมีการรวบรวมฟังก์ชันทางคณิตศาสตร์ต่าง ๆ เช่น Fourier, สมการเชิงเส้น, และตัวเลขสุ่ม เป็นต้น ใช้สำหรับงานด้านการประมวลผลภาพและเสียง
.
💥 Link : https://numpy.org/?ref=hackernoon.com
🧡 2) Theano
Library ที่ช่วยสร้างชุด Arrays หลายมิติเพื่อการคำนวณโมเดลต่าง ๆ มีความเสถียรและรวดเร็วมาก ๆ ออกแบบมาเพื่อการทำ Deep Learning
.
💥 Link : https://pypi.org/project/Theano/?ref=hackernoon.com
💛 3) Keras
Library สำหรับการทำ Deep Learning เช่นกัน มันจะช่วยให้เราสามารถเทรนโมเดลและสร้างต้นแบบของโมเดลได้ง่ายและรวดเร็ว
.
💥 Link : https://keras.io/?ref=hackernoon.com
💚 4) PyTorch
เป็น Deep Learning Library รองรับการสร้างกราฟที่สามารถคำนวณแบบไดนามิก ทำงานแบบ Asynchronous ได้ ใช้งานไม่ยาก และมีประสิทธิภาพมาก ๆ
.
💥 Link : https://pytorch.org/
💙 5) Pandas
เป็น Library แบบ Open-Source ใช้สำหรับวิเคราะห์ข้อมูลที่มีประสิทธิภาพสูงมาก โครงสร้างหลักเป็น DataFrame ซึ่งสามารถเก็บข้อมูลในรูปแบบตาราง แถว และคอลัมน์ได้ รองรับข้อมูลได้หลายรูปแบบ เช่น SQL, CSV, Excel หรือ HDFS เป็นต้น
.
💥Link : https://pandas.pydata.org/
.
เพื่อน ๆ ล่ะ เคยใช้อันไหนกันบ้าง ?? หรือมีอะไรเจ๋ง ๆ อยากแนะนำเพิ่มเติมคอมเมนต์มาได้เลยน้า 😘
.
borntoDev - 🦖 สร้างการเรียนรู้ที่ดีสำหรับสายไอทีในทุกวัน
今天這篇文章探討的是 Uber 內部的架構以及系統設計。
Uber 最初是使用 Python 作為開發語言，並且基於 monolithic 的架構來開發前後端。 2014 之後，Uber 將架構給轉移到 service-oriented 的架構。
Uber 的業務(Taxi,Eats)基本上是一種 Demand <---> Supply 邏輯的業務，以叫車服務就是如何將叫車的使用者與開車的司機給媒合。基於業務可以分類出系統需要兩個服務，分別是
Deman 服務以及 Supply 服務。
這兩個服務會串接系統內的 DISCO(Dispatch Optimization)， 該服務基於 Map&Location 等資料來進行處理，但是這兩種資料搭配經緯度要處理實在麻煩，因此該服務使用 Google S2 函式庫來處理。
文章中介紹非常多 DISCO 如何處理地點相關的資料，如何有效率地幫司機跟使用者給媒合，有興趣的可以
點選原文閱讀。
除了媒合系統外，文章中還介紹了如何處理 Payment fraud 這類型的問題，全文非常長，有興趣的可以細讀
而這邊列出文章提到的各種專案
1. PostgreSQL -> MySQL (文章中有另外一篇連結探討為什麼轉移)
2. RDBMS/HDFS
3. KAFKA
https://medium.com/nerd-for-tech/uber-architecture-and-system-design-e8ac26690dfc
2.1 HDFS 架构. HDFS 遵循主/从架构，由单个NameNode(NN) 和多个DataNode(DN) 组成：. NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命名文件 ... ... <看更多>
Overview by Suresh Srinivas, co-founder of Hortonworks. Provides an introduction to HDFS including a ... ... <看更多>
hdfs 在 HDFS技术原理 - 曹世宏的博客 的推薦與評價
HDFS 概述及应用场景HDFS概述：HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件平台上的分布式文件系统。 ... <看更多>