ref: https://blog.argoproj.io/argo-workflows-2021-survey-results-d6fa890030ee
這篇是由 Argo 官方所發表的統計文章,該文章主要是探討 Argo Workflows 的使用,總共有效的問券有 60 份
你是誰
1. 32% DevOps Engineer
2. 26% Software Engineer
3. 15% Architect
4. 9% Data Engineer
使用案例(前六大項)
1. Infrastructure Automation
2. Data Processing
3. CI/CD
4. Batch Processing
5. Machine Learning
6. ETL
由於問券內容中大部分都是 DevOps 相關職缺,所以答案會偏向 Infrastructure, CI/CD 也是不太意外。
最受歡迎的功能(按照名次排序)
1. Workflow Template
2. CronWorkflows
3. API
4. Prometheus Metrics
5. Workflow Archive
6. Golang/Java/Python Clients
7. SSO
8. WebHooks
9. Workflow Reports
10. Node Offloading
11. Memoization
12. Semaphores/Mutexes
Argo 官方對於這個評比是有點經驗,本以為會更多人使用(6)與(12),不過這些功能實際上的釋出也是相對新。
規模
1. 大部分的使用者一天會運行 10~100 個左右的 workflows
2. 有三個使用者每天會運行 1000 個以上的 workflows
3. 大部分使用者每個 workflow 運行的 pod 數量範圍為 10~100
4. 有兩個使用者每個 workflow 運行的 pod 數量超過 10,000
導入生產環境的困境
1. 有七個人表示習慣使用 Python,所以使用 YAML 語法相對困難
2. 有三個人表示需要去熟悉 Cloud-native/Container 的相關用法與概念
為什麼使用 Argo Workflows
1. 28 個人表示因為其是 Cloud Native/Kubernetes 相關專案
2. 有六個人表示 Argo Workflow 是目前最好用的 workflow 專案
3. 有五個人表示輕量與容易上手
4. 有五個人表示與 Argo CD 可以輕鬆整合無煩惱
對 Argo Workflow 有興趣的人可以參考這個專案,其還可以組合出符合 DGA 拓墣的關係圖,讓你的 job 組合變化多端
同時也有18部Youtube影片,追蹤數超過4萬的網紅吳老師教學部落格,也在其Youtube影片中提到,從EXCEL VBA到Python開發第4次上課(List串列用法& 讀取外部檔案到&讀取檔案與只取前十個會員&文字串 接與存檔為CSV供EXCEL開啟&不用邏輯用max與index取 最高分者) 01_重點回顧與List串列用法 02_串列輸入成績與計算結果 03_讀取外部檔案到串列中與轉...
「python 用法」的推薦目錄:
- 關於python 用法 在 矽谷牛的耕田筆記 Facebook 的最佳解答
- 關於python 用法 在 矽谷牛的耕田筆記 Facebook 的精選貼文
- 關於python 用法 在 紀老師程式教學網 Facebook 的最讚貼文
- 關於python 用法 在 吳老師教學部落格 Youtube 的最佳解答
- 關於python 用法 在 吳老師教學部落格 Youtube 的最佳貼文
- 關於python 用法 在 吳老師教學部落格 Youtube 的最讚貼文
- 關於python 用法 在 Python function 函式用法與範例 的評價
- 關於python 用法 在 四則運算出題機eval()的用法python 【中學生七年級自學專區】 的評價
- 關於python 用法 在 jackfrued/Python-100-Days: Python - 100天从新手到大师 的評價
- 關於python 用法 在 Newest Questions - Stack Overflow 的評價
- 關於python 用法 在 Github Misago 的評價
python 用法 在 矽谷牛的耕田筆記 Facebook 的精選貼文
本篇文章是 Netflix 的內部架構技術分享文,本篇文章要探討的是當 Netflix 內部大量採用 Google Drives(Sheets, DDocs, Slides...etc)進行檔案分享時所遇到的問題,以及 Netflix 是如何解決這些問題的。
問題: 對 Netflix 來說,由於下列兩個理由,導致目前 Google Drive 上大概有兩千萬的檔案
1. Netflix Studio 的合作夥伴大量使用 Google Service 來傳輸資料
2. 資料科學家需要將資料複製回本地的 Data 倉庫進行分析。
Netflix 內部為了方便存取這些資料,透過程式化的方式透過 Google API 來存取這些大量成長的資料,然而這樣的方式卻導致了兩個很麻煩的問題
1. 應用程式開發者與資料科學家必須要各自維護存取 Google 服務的帳號密碼,同時很多程式碼會大量的被重複開發。
2. 從可觀測性系統來說,到底有哪些檔案資料從 Google Drive 與 Data 倉庫移動是很不清楚的。
Netflix 為了解決這些問題,決定自行打造一個 Service Proxy 來處理所有流向 Google Services 的請求。透過這個中介層的服務,Google 服務認證的部分就可以有效率的於 Proxy 這層來處理掉,同時也能夠透過 Log 的方式來記錄到底哪些檔案目前正在移動,彌補了過往可觀性系統的缺失。
文中先介紹了關於 Google API 的架構,Netflix 內部原先大部分都透過 Python 或 Java 等程式語言來撰寫 Client 端的應用程式。為了讓整個 Proxy 能夠更有效的處理 Credential 的部分,Netflix 這邊還導入的內部工具(Metatron) 來管理這些資訊。
其他相關資訊還有
1. Proxy 基於 Java 開發
2. 使用 gRPC 來產生不同語言的 endpoints,統一由 Proxy 將請求轉為 HTTP 送往 Google 處理
此外,為了讓 Netflix 內部的所有人都可以很輕鬆的於 Google Drive 與 Data 倉庫間來更動資料, Netflix 為此打造一個可排程的 Job 來默默執行。文章後半段主要在介紹這個 Job 的架構與用法
對於全文有興趣的都歡迎閱讀~
https://netflixtechblog.medium.com/data-movement-for-google-services-at-netflix-9a77ca69f7c4
python 用法 在 紀老師程式教學網 Facebook 的最讚貼文
【 一聽就懂的Python機器學習 】
🔰 線上課程5折優惠中 https://ps.yottau.net/RW9P7
🔰 參加活動,拿限量$300折價券 (詳情請見課程頁)
🤦♂️初學者最常遇到 #機器學習問題
數學不好!模型太多不會選!只會套模板不懂原理!
如果你有以上問題,完全不用擔心!
▌30年程式補教界經驗 #提供系統化學習路徑
1️⃣ 入門指南:安裝所需的程式環境
2️⃣ 四大套件(NumPy/Pandas/Matplotlib/SciPy):完整解說功能及用法
3️⃣ 資料前處理:數據的整理方法與訣竅
4️⃣ 六大機器學習模型:淺顯易懂理論說明+案例講解,理論&實作雙管齊下
5️⃣ 股票趨勢預測專案:所學直接應用在真實情境中!
▌選擇紀老師 #學好機器學習的關鍵
✅ 購課就送:紀老師獨家研發「快樂版」函式庫!
別人數十行寫出的機器學習原始碼,你用一行就搞定!效率UP!
✅ 大量課後作業,強勢練習!
✅ 紀老師專業批改所有作業,像擁有私人教練,隨時糾正你沒注意到的小錯誤,真正強化你程式設計的能力!
讓機器學習建立預測模型,從中找到趨勢與商機!
早鳥限時5折,搶先預購課程 https://ps.yottau.net/RW9P7
• 募資期間:2020/5/26 (二) -2020/7/2(四)
• 限時優惠:$2500元 (7/2起恢復原價$4,980元)
• 若募資成功後,將於2020/08/18(二)上架第一批課程
python 用法 在 吳老師教學部落格 Youtube 的最佳解答
從EXCEL VBA到Python開發第4次上課(List串列用法&
讀取外部檔案到&讀取檔案與只取前十個會員&文字串
接與存檔為CSV供EXCEL開啟&不用邏輯用max與index取
最高分者)
01_重點回顧與List串列用法
02_串列輸入成績與計算結果
03_讀取外部檔案到串列中與轉型
04_讀取檔案與只取前十個會員
05_切割串列與只留下姓名手機兩欄
06_文字串接與存檔為CSV供EXCEL開啟
07_讀取絕對路徑與範例學生成績
08_階段一讀取與切割學生成績
09_不用邏輯用max與index取最高分者
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!
forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、
YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理
CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處
理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/7/20
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
python 用法 在 吳老師教學部落格 Youtube 的最佳貼文
從EXCEL VBA到Python開發第4次上課(List串列用法&
讀取外部檔案到&讀取檔案與只取前十個會員&文字串
接與存檔為CSV供EXCEL開啟&不用邏輯用max與index取
最高分者)
01_重點回顧與List串列用法
02_串列輸入成績與計算結果
03_讀取外部檔案到串列中與轉型
04_讀取檔案與只取前十個會員
05_切割串列與只留下姓名手機兩欄
06_文字串接與存檔為CSV供EXCEL開啟
07_讀取絕對路徑與範例學生成績
08_階段一讀取與切割學生成績
09_不用邏輯用max與index取最高分者
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!
forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、
YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理
CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處
理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/7/20
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
python 用法 在 吳老師教學部落格 Youtube 的最讚貼文
從EXCEL VBA到Python開發第4次上課(List串列用法&
讀取外部檔案到&讀取檔案與只取前十個會員&文字串
接與存檔為CSV供EXCEL開啟&不用邏輯用max與index取
最高分者)
01_重點回顧與List串列用法
02_串列輸入成績與計算結果
03_讀取外部檔案到串列中與轉型
04_讀取檔案與只取前十個會員
05_切割串列與只留下姓名手機兩欄
06_文字串接與存檔為CSV供EXCEL開啟
07_讀取絕對路徑與範例學生成績
08_階段一讀取與切割學生成績
09_不用邏輯用max與index取最高分者
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!
forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、
YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理
CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處
理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/7/20
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
python 用法 在 jackfrued/Python-100-Days: Python - 100天从新手到大师 的推薦與評價
Contribute to jackfrued/Python-100-Days development by creating an account on GitHub. ... 集合基本用法- 集合和列表的区别/ 创建集合/ 添加元素/ 删除元素/ 清空 ... ... <看更多>
python 用法 在 Python function 函式用法與範例 的推薦與評價
本篇介紹Python function 函式用法與範例,function 函式要搭配def 關鍵字來一起使用,使用function 函式的目的是能將重複的程式邏輯包裝起來, ... ... <看更多>