《RISE-UP 科技人才升級週報》#21:怎麼估計 YouTube 有多少支影片?|DHH 給你的 2024 新年新計畫建議

《RISE-UP 科技人才升級週報》

Hi 讀者,

即將邁入 2024 年,你有什麼新年新計畫嗎?沒有也沒關係,本週我們挑選了一篇 DHH 的文章,幫你換一個角度思考新年新計畫。

假如你的新計畫跟閱讀有關,那麼或許「Most Recommended Books」這個網站可以派上用場,裡面收集了許多產業人士曾經公開推薦過的書籍,而且有附上來源。網站還在「Tools」頁面(網頁最下方)提供一個工具,讓你搜尋網站上有紀錄的任意兩位創業者們推薦的書籍是否有重疊。(我比對了 Paul Graham 與 Naval Ravikant,結果是零;創辦 Stripe 的 Collison 兄弟兩人的書單則有很多重疊之處。)

Titan

[optin-monster-inline slug=”hlq7r8kikxf7imrv22xq”]


[英] DHH/比起新年計劃,不如在新的一年好好磨練你的專業能力

原文連結|閱讀時間:5-10 分鐘

這是今年最後一週,不知道你在 2024 年有何新計畫?DHH 前幾天寫了一篇文章,告訴大家與其思考 2024 年要減重、讀更多書,不如把握上班時間強化自己的專業能力。當然,他無意貶低人們想要在新的一年讓自己變得更好的企圖,只不過他認為新年新計畫其實更為困難,因為要讓計畫成功,你必須養成新的習慣,你得額外擠出時間去運動、閱讀⋯⋯

DHH 指出,與其那麼辛苦,大多數人其實每天都有一大段現成的時間——也就是上班時間。他算給大家看:一天八小時,一年就有兩千小時,就算只用其中 10% 來增進你的專業技能也好。DHH 說自己多年來都是這樣在進步,就用那八小時。「這一切是有可能的。工作提供你近乎無窮盡的機會跟充分的時間,就看你願不願意這樣想。如果你在 2024 年把握機會這樣做,將會很訝異一年原來可以進步這麼多。」他在結尾寫道。

以寫程式為例,他說寫程式往往是為了解決一個問題或實作一個功能,遵循自己已經熟悉的路徑和模式可以很快做到這一點,這是經驗的紅利,卻也是陷阱;經驗會提高嘗試新事物的代價,所以他常常會刻意繞遠路。文中引用一句老話:「慢才能平順、平順才會快。(Slow is smooth, smooth is fast again.)」

DHH 的原則是:不能只停在「完成任務」,除了有效、正確、快速,還要再加上一個:試著讓它更「美」,追尋這件事讓他得到許多收穫。(他講的美主要是「4 C」:清晰(clarity)、連貫(cohesion)、一致(consistency)與簡潔(conciseness)。)而實踐這個原則的做法就是反覆閱讀、修改草稿(draft)。他說:包括做出一項管理決策在內,所有的東西都是從草稿開始。對此感興趣的讀者可以閱讀原文,看看 DHH 怎麼在寫程式中落實這個做法(提示:跟 pull request 有關)。


[英] Cameron MacLeod/圖解 Shazam 快速辨識音樂的原理

原文連結|閱讀時間:20-30 分鐘

你有用過音樂辨識軟體 Shazam 嗎?是否曾好奇過背後的運作原理?這是一篇 2022 年的文章,作者 Cameron MacLeod 曾經在 Google 擔任產品經理,目前是彭博社的軟體工程師。他讀了 Shazam 創辦人們在 2003 年發表的論文(文中有連結),並且嘗試用在自己的專案上,至於一些論文沒有解釋到的部分,他也會分享自己的方法。

基本上辨識音樂需要做以下幾件事:錄一小段音樂,以波形圖(waveform)跟資料庫裡大量的音樂波形圖比較、找出符合的結果。然而可以想見這樣很沒效率,而且還有錄音的背景噪音問題(噪音會嚴重改變波形圖),而 Shazam 的辦法聰明許多。

MacLeod 在文中以一首歌為例,帶大家看整個系統的運作方式。要能夠識別音樂,就要先有一個資料庫,才能拿來跟錄音資料做比對,但是記錄既有音樂跟辨識流程在技術上有很多地方是類似的,大致可分成三個步驟:1. 計算出音樂的聲譜圖(spectrogram)。2. 找出峰值。3. 將這些峰值雜湊(hash)處理。(透過配對峰值,創造出更好的聲紋(fingerprint))。MacLeod 接著分別深入說明這三步驟,例如怎麼將波形圖切成小段後進行傅立葉轉換、計算出聲譜圖,傅立葉轉換怎麼克服錄音的噪音問題(還可以減少資料量),以及後續步驟的各種細節,包含實際上怎麼做比對。這套方法真是太巧妙了。

如同作者所說,今日音樂辨識的最新技術已經有所變化,但核心原則不變,而且當年 Shazam 使用的方法取得的準確率實在令人印象深刻。想像一下,這是上世紀末開始研發的技術,2002 年 Shazam 服務上線時,人們是用手機撥打 2580 這個號碼,接通後 30 秒自動掛斷,Shazam 利用這段通話時的錄音來辨識音樂,再回傳簡訊告訴你剛剛錄下來的音樂來自哪一首歌。關於 Shazam 的運作原理,儘管網路上有些不錯的影片(例如這個這個),但我們還是很推薦各位閱讀這篇文章。


[英] a16z/2024 年科技趨勢預測

原文連結|閱讀時間:視情況而定

知名創投 a16z 最近發表了關於 2024 年的趨勢預測,由四十多位合夥人分享他們在各自領域中認為會在 2024 年推動創新與趨勢的重大想法(big idea)。讀者們很容易就會發現「AI」是一個貫穿所有主題的關鍵字,僅少數合夥人沒有提到。這些領域分別是:

  • 美國的創新動力(American dynamism)
  • 生物科技與健康醫療(bio + health)
  • 消費性科技(consumer tech)
  • Crypto
  • 金融科技(fintech)
  • 遊戲(games)
  • 處在成長階段的科技(growth-stage tech)
  • 基礎設施 + 企業(infra + enterprise)

這些主題頁面的右側還提供了 a16z 網站該主題的熱門文章。其中第一個領域「美國的創新動力」提供了一些值得思考的視角,例如公共安全議題,在一些警察、消防和其他公共安全部門人手不足的地方(FBI 稱在美國每 23 秒就有一輛汽車被偷,其中40%從未被找回),科技創新可以扮演什麼角色?另一個趨勢則是會有越來越多非軟體公司將透過收購軟體公司的方式強化自身優勢,另一位合夥人提到的則是科技讓海事現代化、開啟海洋探索的新時代。在金融科技方面,一位合夥人認為開發者們將會在採購決策上扮演更重要的角色。

這些主題中間還有穿插一個關於這些重大想法的「科技隨堂考」,一共有九題,每題對完答案之後,a16z 會附上相關說明與一些產業統計數字。(我栽在遊戲那一題 XD)建議讀者可以快速掃過一遍內容,再挑選自己感興趣的領域來閱讀這些合夥人對趨勢的看法。a16z 的內容團隊也針對其中幾個議題製作了 podcast 與 YouTube 影片,邀請合夥人深入去談他們的觀點。最後提醒讀者,這些預測是來自一家把〈科技樂觀主義者宣言〉放在首頁的創投公司。


[英] Ethan Zuckerman/YouTube 有多大?怎麼估計它有多少支影片?

原文連結|閱讀時間:10-15 分鐘

你覺得 YouTube 有多大?一位在 MIT 任教的美國媒體學者、Global Voices 共同創辦人 Ethan Zuckerman 最近發表了一篇文章,想要從「YouTube 有多少支影片」的角度來討論這個問題,他認為這是研究「刻意散佈的假訊息(disinformation)」議題中一項重要的資訊,因為如果相關研究缺乏「分母」(影片總數),那麽分子(刻意散佈的假訊息影片)的意義就小了許多。Zuckerman 舉了一個例子,一項 2020 年八月發表的報告指出,Facebook 上錯誤的健康資訊一年內在歐美五個大國共有 38 億的流量(views),乍看之下很大,但相較於整體 Facebook 流量可能很小(Facebook MAU 約 30 億人),可是偏偏沒人知道真正的數字。

Zuckerman 指出,有些社群網站有機會讓研究人員估算出「分母」,例如 Reddit 過去可以被抓取所有貼文的數量(Well,現在不行了);X(Twitter)也曾經提供 API 讓學術界以抽樣的形式了解大約有多少推文。然而整體規模要巨大許多的 YouTube 並沒有提供類似的管道讓研究人員知道該平台上有多少影片。Zuckerman 跟他的夥伴們想到一個方法——使用官方文件上沒有的 API,以 YouTube 來說,這個技術圈公開的秘密叫做「InnerTube」,然後開始「猜網址」。

怎麼猜?「瞎猜」囉(原文是寫 drunk dialing),我們知道 YouTube 影片的網址長這樣:「https://www.youtube.com/ watch?v=vXPJVwwEmiM」,「watch?v=」後面有 11 位數的字串,前十位可以是大小寫的英文字母、數字和「_」「-」,最後一位規則不同,只會是 16 個值的其中之一,所以總共有 264 種可能性,這是個超大的數字,大約是 18.4 × 1018——YouTube 當然沒有那麼多影片。Zuckerman 說,假如 YouTube 有 10 億支影片,那你隨機猜中一個有效網址的機率大約是 184 億分之一。

後來研究人員找到方法讓猜網址變得更有效率,最後順利抽樣(抽樣出近 2.5 萬支影片),讓他們展開後續一連串的研究,也估計出目前 YouTube 大約有 133 億支影片(文中有關於他們如何抽樣的論文)。而團隊也利用這項研究,建立了「TubeStats」這個網頁,讓大家查詢各種 YouTube 數據,例如影片觀看次數的分佈、歷年來上傳到 YouTube 上的影片數字、歷年來 YouTube 影片總量、影片語言分佈、頻道訂閱數分佈等等。有興趣的讀者可以循著原文的資訊研究一番。


閱讀更多內容,請看《RISE-UP 科技人才升級週報》各期目錄。