【從 teradata 到 BigQuery】美國職棒大聯盟資料倉儲搬遷實錄
#搬遷背景
美國職棒大聯盟 (MLB) 過去打造的 data pipeline 在建置時並沒有要做大數據分析的預期,所以多數對模型而言並不適用。存放於 teradata 中的資料也無法直接讓 30 支球隊存取,必須將資料複製到雲端上的 30 個獨立資料夾,讓球隊各自存取,球隊亦無法雙向向聯盟回饋數據,下述種種阻礙迫使 MLB 必須改變:
1⃣ 購退票、轉賣票券等行為導致已備份的歷史資料仍頻繁異動,需不斷再更新。
2⃣ 若分享的資料要新增欄位或改變格式,歷史資料需重新複製。
3⃣ 球隊須設定資料更新的通知,否則不會發現。
4⃣ 無法及時分享資料,頂多每五分鐘更新一次。
5⃣ 目標是提供具商業價值的分析給 MLB 跟球隊,但花費大量時間處理備份事宜。
6⃣ 當 MLB 開始尋找新的 BI 平台,發現既有倉儲和第三方工具整合有限。
#搬遷Tips
💡 新專案直接在 BigQuery 上開案。
💡 在 dependency graph 中找出 table 與 ETL jobs 間的關連,從關聯較少的開始搬遷。
💡 搬遷過程中,在 BigQuery 即時產生 teradata ETL 的副本,資料即時程度在 1 分鐘內,讓數據團隊可及早在 BigQuery 上使用資料。
💡 可在 GCP Marketplace 使用 #第三方轉譯器工具 CompilerWorks:自動化且正確地將 teradata SQL 轉換成 BigQuery SQL。
💡 ETL 搬遷的邏輯驗證可在 BigQuery 中完成。
#BigQuery解放MLB技術能量
✅ 球隊、聯盟員工存取同一份資料,MLB 無需處理歷史資料異動時,備份更新的問題。
✅ 性能與效率:大型查詢時間減少 50%。
✅ 完善資安功能:G Suite 提供身份驗證功能,Google Cloud IAM 負責處理權限控管。
✅ 友善體驗:Console 和 BigQuery API 極易上手,入門門檻低。
✅ 靈活性、降低成本:允許按需求量收費,不必承諾使用量,以便逐步上線。支援自動備份、自動擴展。
▎報名收看 Google 官方中文演講場次:https://bit.ly/2ZMYzv5
▎Next OnAir Week 1 精華整理:https://bit.ly/3jpSwnU
#GoogleCloud #NextOnAir #NextRecap
#iKalaCloud #數位轉型就找iKala
同時也有2部Youtube影片,追蹤數超過17萬的網紅魏巍,也在其Youtube影片中提到,***** 歡迎訂閱!分享出去吧! ***** 分享在 【集合啦!動物森友會】裡,可以簡單套用的設計模式。如果大家跟我一樣,不知道從哪邊佈置起的話,可以試試下面幾個選項: 1)加上柵欄(圍牆) 2)鋪上地板 3)在周圍種花 我把博物館搬遷到一個很高的地方,在那邊,我就套用這三個簡單的設計模式,把博...
搬遷tips 在 後天派陽宅風水 Facebook 的最讚貼文
陽宅釋疑4
辦公室(或工廠)跟住家風水孰輕孰重?
開公司一般會有辦公室或是工廠,辦公室(或工廠)與住家到底哪個比較重要?
辦公室影響公司的財富、賺錢力度,但是我們不可能辦公室長期睡覺久住、生活因此住家的時間事實上比在辦公室長(因為睡眠不動、辦公會走動外出)。
公司賺錢的能力取決於辦公室格局,但是能不能留財、存錢則需端看住家風水,辦公室風水好、產業對了雖能獲利,但家裡的風水格局出問題,就容易發生一會兒可能誰出事情需要花錢或在家裡的人投資失利需要用錢…造成挖東牆補西牆的現象。
如果剛好相反,辦公室的風水不好,家裡的風水好,那容易有公司不賺錢但家裡有本,反而家裡要常常拿錢去資助公司度過難關。我們勘宅時如果是勘察辦公室或工廠希望能改善”財富”,我們會提醒對方公司與住家兩邊都要注意。但是如果只是看住家則會以所勘之住家為主。
房子影響子、女性別與成員?
後天派裡的陽宅影響屋內財富、人丁、健康。除了健康、財富之外,因為五行之間的生、制、剋、化導致某些現象出現,這也是造成屋內久住影響生男生女的主因。
古代不易搬遷,一般來說常住宅內的人口往往超過多代,因此久住的陽宅風水師可以判斷子女成員與數量(特別是針對男生的數量),有時甚至可以辨別其健康,但是現在社會租房子、搬家容易,一個房子鮮少住超過2~3代人因此在子女辨別上便顯得不容易許多。
所以這個答案原則上是肯定的,但是必須在該房子裡住滿三個月半年以上才懷孕才能判斷準確(住進來一段時間才懷孕的)。
(圖片出自: https://www.themorrisbunchblog.com/5-tips-for-best-preserving-your-family-films-and-photos/)
搬遷tips 在 魏巍 Youtube 的最佳解答
***** 歡迎訂閱!分享出去吧! *****
分享在 【集合啦!動物森友會】裡,可以簡單套用的設計模式。如果大家跟我一樣,不知道從哪邊佈置起的話,可以試試下面幾個選項:
1)加上柵欄(圍牆)
2)鋪上地板
3)在周圍種花
我把博物館搬遷到一個很高的地方,在那邊,我就套用這三個簡單的設計模式,把博物館附近佈置地美美的。歡迎參考~。
$$ 訂閱《魏巍》頻道吧~ https://bit.ly/2EIy6Rz
-----------------------------------------------------------------------------------------------------------
***** 訂閱魏巍頻道 ***** @@ ***** 跟我一起玩遊戲 *****
***** 還會分享各種有趣的短片** @@ ** 趕快去訂閱吧! *****
-----------------------------------------------------------------------------------------------------------
#動物森友會 #島嶼規劃 #設計模式
搬遷tips 在 KARMAN Youtube 的最讚貼文
這不是詐騙集團喔, 影片上載到我的中文頻道了! 跟著影片之後的連結就可以看影片了! 如果造成任何不便, 敬請原諒.
我的中文頻道:
http://www.youtube.com/channel/puffedupcheeks2
我的instagram: @madokeki
我的twitter: @madokeki
我的weibo: @madokeki
搬遷tips 在 Tips Coffee | Xinbei - Facebook 的推薦與評價
Tips Coffee, New Taipei City. ... 經過兩週的搬遷跟整理 ... May be an image of text that says 'FTIP COFFEE TIPS TIPS COFFEE TIPS TIPSCOFFEE. All reactions:. ... <看更多>
搬遷tips 在 10 Practical Moving Tips You Must Know|waja蛙家 - YouTube 的推薦與評價
每一次搬家都很辛苦嗎?那是因為你沒有掌握#搬家的訣竅!蛙家為你整理了十多種搬家小技巧,從衣鞋類到寢具類,從線材類到化妝品類都有相關的收納小 ... ... <看更多>