17 LIVE 資深數據工程師:RISE 讓我成為更好的 Team Player

2022 年底,我報名了 ALPHA Camp 推出的「設計 E2E 現代數據架構」學程,六週的內容超出預期的豐富,認識了許多 Data 領域的超強導師和優秀同儕,用力地學習、死命地交流,獲得的知識、經驗、人脈和資源,實在很超值!

當初為什麽想申請 RISE、參加這門學程

當初是從 ALPHA Camp co-founder Youchi 的臉書貼文得知此計畫,看完 RISE 跟 Early Riser 介紹頁 (馬上看 2023 RISE 計畫官網),當下就決定要報名了!

學程主打的「教練陪跑式實戰營隊設計」、「用宏觀視角培養領導者思維」、「結交數據領域的優秀人脈」都非常吸引我。特別是第三點,從報名表填寫到第二階段面試就能知道,願意報名並錄取這個計畫的其他同學,都是在數據領域、積極且有實戰經驗的優秀同儕。

這樣,不僅能學習到不同公司、不同產業所使用技術、架構、工具,課後的交流與人脈的連結更讓這裡形成一個高質量的社群,我相信對職涯發展來說幫助很大。

關於 RISE 的學習體驗或學程內容

課程進行方式並非老師單向授課,而是讓大家自己預習課程內容,再來到課堂上透過提問、討論和實作來學習

學習過程,大致可以區分為:

課前

  1. 閱讀導師為大家精選的文章閱讀
  2. 完成當週主題相關的作業個人/小組作業

課中

  1. 導師抽點同學回答與討論當週主題(靈魂拷問時間)
  2. 導師同時會作當週主題的內容和經驗分享(金句名言時間)
  3. 在導師設計好的 Miro 模板上個人/分組實作與分享(腦力激盪時間)

課後

  1. 課程心得與反饋
  2. Discord 群組交流和延伸議題討論
  3. 作業 refine 和 final presentation 準備

其中最讓我印象深刻的地方

導師 Joseph 在第二週課程提到的一個關鍵點:「工具的決策,缺點比優點還重要」。

過去在決定要選用或導入的技術或工具時,常看到的都是正面的好處和成果,但 Joseph 建議要多看一些缺點和限制,例如:有很高的學習成本、服務穩定度不高、網路資源缺乏等。這些,才是後續容不容易維護的重點。

有時我會以個人的角度,私心想要接觸時下流行的技術、導入新的工具或挑戰沒實作過的系統架構。但身為主管,則應該要以:團隊/公司的角度檢視這些項目的學習成本、構建成本、維護成本、人才市場、可帶來多大效益、是否有其他替代方案等,進行綜合評估與考量。

分析完成本效益後,可能會發現這些並不是團隊當前迫切需要的。就算是其他部門明確提出的需求,也該評估其合理性和必要性,給予專業的優先度建議。因為「沒有完美的解決方案或做不出來的系統,只是從 day 1 到 day n 都在做取捨而已」。

以這次我們小組的 final presentation 為例,題目簡介:「營運部門 PM 想要查看即時的營收表現(Revenue)、用戶流量(Traffic) 的 Dashboard,所以 Data Team 要將本來的 Daily Batch Pipeline 導入、並整合 Streaming Pipeline,最終規劃要 3 個人力 & 4 個人月來完成」。

然而導師最後的評語強烈提醒我,自己的思考還不夠全面,真的是格局和高度的差距阿!

下面列出導師 Joseph 和 Bryan 真實的回饋:

  • 「BigQuery data warehouse 比 production DB replica 還不及時,似乎不是引入 BigQuery 能解決的痛點。」
  • 「讓 DE/DA centralize 負責大部分的 transformation 已經解決多數問題,dataform 的引入似乎不算是在新組織架構與分工下關鍵要解決的問題。」
  • 「不確定 dataflow 的必要性,是否有可能 pub/sub 直入 BigQuery 後,再在 BigQuery 做 transformation?這樣可以讓邏輯更集中在 BigQuery 一處,也比較不會跟 dataform 想解決的 metric layer 相衝突,避免又多一處有business logic 以及做 transformation。」
  • 「Event Streaming 的部分是要先走 dataflow 再進 BQ 還是先進 BQ 在統一用 BQ 做計算在實務上會有很多討論,除了導師 Joseph 提出之外,我也會考慮人員的技能樹以及是否要多管一個 component。」
  • 「如果外部單位提出來一個 Data 根本覺得不需要做,或是做了不合的需求該怎麼辦?例如這裡一直在討論的即時儀表板。課程和使用者資訊真的需要“即時”的看嗎?還是每一個小時看一次就差不多了呢?」
  • 「如果要做 event streaming 的話,是不是可以一起把需要即時觀察的資訊透過 event 送出來,就不用再多導入一個 CDC 的系統?」

給有興趣申請 RISE 的朋友一些建議

此計畫很適合學習動機強並樂意在社群中共學的朋友參加,這門課也期待你是有設計和打造數據相關產品經驗,且有興趣學習管理更大規模的資料專案的技術人才。

雖然過程中要投入蠻多時間和精力在準備課程和小組討論上,但收穫絕對會超乎你的想像!這邊分享申請概要供大家參考,如果你沒信心自己是否符合資格,下面這些項目都可以預先準備:

  • Linkedin 個人履歷頁面
  • 技術能力門檻
  • 目前職位的核心任務
  • 希望 RISE 能如何幫助你的職涯?
  • 你是否能每週投入至少 5 小時,且願意積極參與課堂與小組討論?
  • 你對 RISE 的期望與可能的參與
  • 你的推薦人

總結

很感謝自己當初報名這次的課程,這些內容都非常值得拿出來重複觀看。隨著工作經驗累積,我想一定會有不一樣的收穫!「設計 E2E 現代數據架構」學程只是 RISE 計畫的起點,2023 我要好好利用這個資源豐沛的場域,累積人脈、持續學習、職涯升級!

RISE Pilot 學程結束後的實體聚會(aka 網友見面會)大合照

本文轉載自 Enzo 部落格

2023 RISE 春季班招生中

看完 Enzo 的分享,你是否也嚮往與同樣對技術充滿熱情、渴望學習的夥伴們互相切磋,一起成長呢?繼 RISE Pilot Program 結束後,2023 RISE 春季班課程已開放申請,有興趣的朋友現在就到 RISE 官網一探究竟吧!