The Incredibles

（2006—2009）

“網飛獎”

網飛的最高原則一直是讓每部電影看起來都足夠誘人。這種智慧承襲自倫道夫的“直郵圣經”，在DVD業務剛剛興起、影片選項不足并且趨于陳年舊片和不知名電影的情形下，這一原則對網飛的生存來說至關重要。

幫助訂閱用戶發現他們喜愛而不只是喜歡的電影，可以確保他們不斷返回目錄尋寶，支付月租，并宣傳此項服務。其中最吸引人的是，Cinematch算法會充當向導，以喜出望外的方式引領訂閱用戶檢索浩瀚的隊列。

在最終列入訂閱用戶隊列的影片中，差不多有70%來自Cinematch推薦。這個推薦引擎非常強大，網飛甚至用它來預測和控制其庫存需求，從而幫助理順針對新發行影片的高度需求，引導訂閱用戶選擇更具租賃效益的老電影。搜索影片的經歷對用戶而言頗具吸引力，這在開始的幾年里可以說是意外收獲，它有可能在網飛與百視達的慘烈戰爭中改變游戲規則。

最初，Cinematch會根據用戶此前對其他電影的評分，分類提供用戶可能給予較高評分的電影名稱列表，以及由網飛內容編輯創建的主題列表。用戶評分的電影越多，系統就會變得越準確。隨著網站功能日益精確，Cinematch將僅提供某個訂閱用戶可能喜歡的片名，這意味著每一位訂閱用戶每次登錄時都會看到一個不同的網站。Cinematch和亞馬遜設計的軟件搭配，代表了世界上最好的協同過濾系統。

多年來，哈斯廷斯要求他的軟件工程師配合數學家改進算法，并親自予以調整。將人類行為和喜好歸結為一組方程式的想法吸引了他：是否真的有可能在數字范圍內捕獲如此多的無序因素？

他后來指出，他對匹配算法的癡迷占據了他的空閑時間：有次圣誕節，他把自己關在位于帕克市的滑雪屋內，在筆記本電腦上設計Cinematch，妻子帕蒂抱怨他忽略了孩子們，毀了他們的假期。

到2006年，哈斯廷斯和他的團隊已經竭盡所能進行了所有改進。爭取局外人的幫助看來毫無意義，他聘用的是找得到的最優秀人才。和他的曾外祖父通過建立塔克西多公園實驗室，以吸引世界頂尖科學家探索那個時代最大的物理學奧秘一樣，哈斯廷斯決定舉辦百萬獎金的科學競賽，以促成為Cinematch提供支持的算法突破。曾外祖父阿爾弗雷德·李盧米斯曾以前沿設備、奢華食宿和豐厚津貼吸引了世界知名科學家到他的物理實驗室搞研究。哈斯廷斯將通過提供一個科學界聞所未聞的真實世界數據集，來吸引擅長使用機器語言的科學家們參加他的競賽。

盧米斯實驗室的科學家在行將改變“二戰”進程的雷達和核裂變方面競相取得了突破；哈斯廷斯則希望“網飛獎”能迅速取得成果，以終止和百視達的戰爭。他欣賞的是英國政府1714年為海上經度測量法發明人頒發的價值2萬英鎊的“經度獎”，或者2004年為第一個可重復使用民用飛船發明人頒發的價值1000萬美元的“安薩里X獎”。

100萬美元現金獎將頒給一線團隊，旨在將Cinematch的預測能力提高10%。此外，還有5萬美元“進步獎”用于在每個競賽發起紀念日頒給領導者。競賽將向任何教育程度和任何背景的人開放，只要其原籍國獲準與美國打交道。網飛將提供一個包括1億訂閱用戶電影評分結果的數據庫（剝離了個人識別信息），供參賽者以真實數據測試他們的方程式。網飛將在一個公開排行榜上持續統計各團隊的進展情況，獲勝者將持有算法，但必須授予網飛使用權。

就網飛五星級系統而言，10%的提高相當于將預測訂閱用戶電影評分結果的誤差持續控制在1/2～3/4個星級。競賽的執行任務由推薦系統副總裁詹姆斯·貝內特（James Bennett）和Pure Atria前工程師斯坦·蘭寧（Stan Lanning）承擔，后者曾和哈斯廷斯一道改進了Cinematch并負責電影評分系統。

蘭寧面目和善，頭發稀少，留著長長的灰白胡須，他的黑黝黝的辦公空間擺了一排監視器，角落里還擺著一副腳踏彈簧、真人大小的塑料骨架。

史蒂夫·斯韋齊和肯·羅斯在《紐約時報》上發了一篇關于“網飛獎”的報道，但在2006年10月2日競賽發起時，該報道以頭版新聞方式見報還是讓他們感到驚訝。美國和國際媒體紛紛報道這則新聞，截至當天結束時，有超過5000個團隊和個人報名參賽。斯韋齊對自己當天的工作評價必然和網飛的新聞報道密切相關，對他而言，媒體對于公告的亢奮反應就像看到選舉結果撲面而來，同時又得知其候選人以壓倒性優勢獲勝。斯韋齊后來把這個獎項比作為極客而設的“普利克內斯大獎賽”“世界杯”和“超級碗”獎項的合體。

在接下來的3年里，來自186個國家的4萬多個團隊報名參加了這個百萬美元大賽，他們被有史以來發布的最大數據集和此次競賽的友好氛圍深深吸引。隨著他們開始在網飛維護的即時排行榜上發布自己的成果，并在討論組中談論自己的進展情況，科學家、數學家和感興趣的業余愛好者們逐漸從零起步，創建了世界上最精確的推薦引擎。

其中有一個統計人員團隊，他們致力于尋找預測人類行為的新途徑。

美國電話電報公司香農實驗室位于一處綠色原野的淺洼地，緊挨著新澤西州弗倫翰公園郁郁蔥蔥的參天大樹，這里距離曼哈頓有90分鐘的火車車程。這片綜合建筑是方正的幾何體，有一個干凈、設計低調、整齊的大廳，中規中矩的走廊從大廳向外輻射。一面墻壁變成了畫廊，展示的照片要么是這個獨立王國里的知名科學家，要么是一些文物，比如作為裝飾的早期電話機和古董級電子設備。

每層樓都有一間舒適的休息室，圍繞著老式黑板布置有藝術風格的沙發和椅子，大家會坐在這里醞釀頭腦風暴。網狀過道營造出相當寬敞的辦公面積，走廊一側有一面大白板，另一側則是一排窗戶，可以俯瞰修剪整齊的綠地。家具非常實用，包括研究員羅伯特·貝爾（Robert Bell）在內，許多人的辦公空間都沿墻整齊堆放著齊腰高的資料。

貝爾是個靦腆的加州本地人，1998年來到美國電話電報公司香農實驗室。網飛宣布舉行競賽之后一兩天，公司研究事務執行董事克里斯·沃林斯基（Chris Volinsky）就給弗倫翰公園的大約20名研究人員發了電子郵件，貝爾就是這樣聽說了“網飛獎”。沃林斯基領導著美國電話電報公司的數據挖掘小組，該小組10多年來一直在大規模預測客戶潛在行為：哪些客戶有可能購買iPhone，哪些客戶有可能開設欺詐賬戶，與美國客戶群相關的日益演變的風險有哪些。

數據挖掘是在龐大數據集中尋找預測性或關鍵性模式的過程：在生成谷歌搜索排名結果的數十億個網站頁面進行即時分類和篩選；在計算機輔助醫學掃描過程中檢測正常細胞的異常情況；或者猜測一組信用卡持有人的收支情況，從而揭示其對美國的潛在威脅。

科學家主持的數據挖掘必須寫出算法，這種算法能觀察數據集的重要模式，還能清除看似重大但不會有什么結果的關系。

沃林斯基是個合群的人，他童年時代對棒球統計數字的酷愛使他從事了數據挖掘工作。他喜歡競賽的原因，不單是為了展示美國電話電報公司實驗室的能耐，他很想在新興領域內和世界級天才一決雌雄。沃林斯基同樣愛看電影，他和同樣在棒球統計領域發現自己事業所在的貝爾很高興有機會測試浩瀚的網飛真實數據，這些數據規模超過他們所見到的其他數據。

貝爾曾經在“網飛獎”之前參加過多次競賽并從中勝出，但本次比賽的百萬美元懸賞和開放性——只要有個人電腦和互聯網連接，任何人都可以參加——給競賽平添了特殊魅力。它很快成為貝爾參加的各個學術研究團體的主要話題，他渴望通過這次機會了解自己和同行之間的勝負情況。

沃林斯基在“網飛獎”宣布不久就組織了一次頭腦風暴會議，與會者大約有15人，但幾周后活躍分子就銳減到3人，分別是貝爾、沃林斯基和他們年輕的以色列同事耶胡達·科倫（Yehuda Koren）。

最初，他們只是持觀望態度，看到網飛發起的排行榜提出了數百個解決方案，其中至少有兩個在一周內對Cinematch實施了改進。一個月后，參賽成員已經有幾千個團隊，其中最棒的一個團隊已經利用完全原創的解決方案將Cinematch的預測能力提高了4%。百萬獎金的角逐賽不僅吸引了數據挖掘精英，還吸引了精通機器語言的專家和數學界精英，以及絕頂聰明的軟件開發業余愛好者，甚至包括心理學家。

每個團隊每天僅可提供一個方案，但大家都在沒日沒夜地熱烈討論，不斷有來自世界各地的參賽者登錄網飛維護的論壇。

對科倫來說，這種匯聚天才頭腦探討同一個問題的非正式交流很有吸引力。他會在家里和辦公室花費數小時鼓搗他們的方程式，試圖在進展神速的排行榜上保持領先地位。每次調整方程式都要花費至少一周，這只能壓縮常規工作時間，從而保證用一天寫出擬定解決方案，用幾個小時在功能強大的計算機上運行龐大的數據集，用更多時間分析結果、進行調整，然后花幾個小時重新運行數據。每個人都會在閑暇時思考競賽事宜，或許一覺醒來，就想出了一個更好的改進方法。

他們準備在比賽進行到第4個月時將自己的參賽團隊BellKor推上排行榜。網飛使用一組秘密測試數據驗證了他們的結果，然后允許BellKor團隊進入第20名賽位。從那時起，科倫就為之癡迷，推動沃林斯基和貝爾奮力沖頂排行榜。他說：“讓我們看看是否能進入前10名，然后是前5名，前3名?！?/p>

2007年4月，他們短暫占據第一賽位，不過幾天后就被擠了下來。在幾周時間內，他們一直和來自普林斯頓的“恐龍星球”、4支匈牙利研究團隊之一的“重力”團隊開展爭奪頭把交椅的拉鋸戰。BellKor在階段性的第8個月再次奪魁，而這次他們守住了名次。他們將Cinematch的預測能力提高了8.4%，從而獲得了第一筆金額達5萬美元的“進步獎”。隨著他們進入第二年賽季，似乎就要將大獎收入囊中。

算法推薦

1999年，當包括哈斯廷斯在內的網飛創始軟件工程師打算設計一個推薦引擎時，他們的初始方法都相當幼稚，想通過共同屬性，即流派、演員、導演、背景、戲劇或悲劇將電影歸類。隨著電影庫存的增多，這種方法被證明很煩瑣，而且不準確，因為無論他們賦予每部電影多少屬性，他們都無法捕獲《風月俏佳人》（Pretty Woman）和《美國舞男》（American Gigolo）的區別所在。這兩部電影都是理查·基爾（Richard Gere）主演并以美國大城市為背景的賣淫題材影片，但兩者不可能吸引同一批觀眾。

早期推薦引擎無法進行預測。一次廣為人知的失誤是，沃爾瑪網站向尋找“黑人歷史月”相關電影的購物者推薦了電影《人猿星球》（Planet of the Apes），之后它不得不致歉并終止其引擎運行。

接下來，網飛的軟件工程師轉向了一個“最相似”算法，這種算法主要是基于用戶的電影愛好對其進行分組，而不是將影片串聯起來。

到“網飛獎”宣布舉行時，訂閱用戶已經對6萬部電影和電視節目進行了10億次評分，這是一個豐富的數據集，只是Cinematch沒有探測到它的微妙之處。

BellKor和其他團隊從零起步，寫出了各自的推薦算法，而且他們在短短幾個月內就經歷了網飛花費數年時間走過的學習曲線，之后更是超越了這一局限。他們創建的算法發現了龐大數據集的玄妙之處，而這些對沃林斯基、貝爾和科倫來說是完全陌生的。算法分析了根據訂閱用戶評分創建的模式，給電影分配了它自己的描述符，這些描述比“導演”“演員”“流派”之類的標簽更豐富也更精確，但對人類思維而言沒有任何實際意義。

例如，貝爾注意到，這個算法“學習”到喜歡伍迪·艾倫電影的訂閱用戶往往只關心艾倫主演（或者在他職業生涯的某個時期或者在特定背景下主演）的特定類型電影，從而不再推薦相關導演的其他作品。

第二年賽季的進展放緩了，尤其是BellKor在“網飛獎”規則要求的一篇論文中泄露了它的解決方案，BellKor團隊眼睜睜地看著別人借助他們的方法日益逼近。他們開始在對Cinematch8.6%的改進率上停滯。

第二年賽季即將過半時，科倫在雅虎以色列研究院謀得一份工作，他不確定自己未來的發展方向，只好在離開前全力解決這個難題。他們的發展勢頭時而放緩到0.5個百分點，時而放緩到0.1個百分點，于是貝爾和沃林斯基把目光投向了排行榜，要尋找能帶領他們走出低谷的新鮮血液。

一個被稱為“大混沌”的新團隊（兩個年輕的奧地利數學家，他們曾為BellKor奠定開局年基礎，其排名正在飆升）吸引了貝爾和沃林斯基的注意。在一次旨在觀察其解決方案和性格是否符合要求的科技“相親”中，貝爾給這個團隊的安德烈亞斯·托斯凱爾（Andreas Toscher）和邁克爾·亞赫里爾（Michael Jahrer）發送了電子郵件，探討達成某種聯盟的可能性。BellKor團隊在一系列電子郵件溝通之后，確信托斯凱爾和亞赫里爾會坦誠以待，他們在越洋電話中達成聯手，結成“大混沌中的BellKor”團隊。

接著，他們開始尋找會影響人們以特定方式進行電影評分的環境和心理因素。訂閱用戶在周末評分時會不會比平日多少寬容些？一次給很多電影評分會導致什么后果？人們會不會基于心情給出不同評分？如果是，怎樣將其量化？

作為苛刻評分人或者寬容評分人的個人性格是否會隨時間發生變化？如果是，變化的方式和原因是什么？

每個問題都變成了有關其自身的一個有待測試的方程式，在結果一致且相關的情況下，這個方程式會被并入構成其制勝公式的方程組中。

由于對Cinematch的改進停滯在令人痛苦的0.5和0.1個百分點，有一小部分電影逃避了分類，并在第二年成為橫亙在“網飛獎”參賽選手及百萬美元支付日之間的主要障礙。這些電影通常具有諷刺性或爭論性，至于它們是杰作還是垃圾，觀眾和評論家有迥然不同的看法。

這類電影中的典型，是獨立制作的荒誕片《大人物拿破侖》（Napoleon Dynamite）（這個片名在所有BellKor模型中導致了最大出錯率）以及具有政治傾向性的電影，后者如邁克爾·摩爾的紀錄片《華氏911》（Fahrenheit 9/11），講述針對紐約和華盛頓的恐怖襲擊及第二次伊拉克戰爭。

當對《我愛哈克比》（I Heart Huckabees）《迷失東京》《水中生活》（The Life Aquatic with Steve Zissou）和《耶穌受難記》（The Passion of the Christ）之類的電影打分成為一種冒險行為時，預測訂閱用戶會選擇哪一方評分會帶來歧視性。此前的評分完全沒有表明人們對這類電影的感受。

貝爾推論說，《大人物拿破侖》問題的解決方案不僅在于找到類似電影，還要教會算法在它并未足夠了解某個訂閱用戶的情況下進行大膽預測。這樣的結果就是一個方程式，它會忽略那些評分過低或者那些對每一類型電影打分過高的訂閱用戶，或者忽略少量忽高忽低的評分。

盡管第二年有了開創性見解，團隊只是在上一年進展的基礎上勉強實現了1%的提高?！按蠡煦缰械腂ellKor”再次斬獲5萬美元的“進步獎”，其獎項寶庫日益充實，其中包括他們上一年贏取并放置在美國電話電報公司香農實驗室大廳的“好萊塢星光大道”之星的俗氣復制品。

2009年退休的網飛員工貝內特懷疑究竟有沒有人能拿到百萬大獎。2009年1月，競賽再次隆重啟動。為了贏取大獎，各團隊拼命拉近與“大混沌中的BellKor”成果之間不足1%的差距，使得排行榜上熱鬧非凡。

各團隊開始了規模宏大的組合，希望各種方法的結合有助于彌合最后幾個千分點的差距，使其超越10%的閾值?！按蠡煦缰械腂ellKor”也開始尋找新思路。他們找到了兩個法裔加拿大軟件程序員馬丁·沙貝爾（Martin Chabbert）和馬丁·皮奧特（Martin Piotte），兩人結合了“進步獎”獲勝方程式和自己的非主流解決方案，剛剛進入排行榜。

沙貝爾和皮奧特自稱“實用主義理論”團隊，他們沒有接受過任何有關數據挖掘方法的培訓，而且他們有意不去學習大獎賽前兩年生成的研究結果。他們說，他們喜歡的解決方案是發現訂閱用戶數據或心理因素方面的模式，并將其轉化為有效的軟件模型。他們排斥外部電影數據，注重預測評分結果，而不嘗試利用它們的公式對其加以說明。

“這個算法能發現存在于無窮灰影部分的實際數據模式，它比分配給黑白盒的任何形式的元數據更加強大?！鄙池悹栒f。

他們的創造力將其聯合團隊（現在被稱為“BellKor的實用主義混沌”）的改進速度提高了關鍵性的0.65個百分點，使他們在2009年6月26日突破了10%這一閾值。

“網飛獎”要求一個為期30天的最后挑戰期，參賽團隊可以在此期間挑戰BellKor可能勝出的提案，這讓他們所有人都感到傷透腦筋。幾個排名靠前的團隊結合為“合唱組”團隊，并在2009年7月25日提交了一個領先BellKor團隊0.04個百分點的解決方案。

在競賽截止前扣人心弦的24小時里，科倫和“BellKor的實用主義混沌”團隊不停地接觸，竭力從其方程組中額外取得0.1或0.2個百分點。他們最終提交了自己最后也是最好的解決方案，并分別在4個國家等待競賽落幕。20分鐘后，“合唱組”的結果領先了“BellKor的實用主義混沌”0.01個百分點。

比賽結束大約一個小時之后，網飛陷入了沉默。正在西雅圖度假的沃林斯基每隔一段時間就會溜到一邊檢查他的電子郵件。當初他們贏得兩項“進步獎”時，網飛在獲獎幾分鐘之內就發來了通知。

心情沮喪的沃林斯基與回到新澤西的貝爾和其他團隊成員交換了意見，并決定關掉自己的手機。他忍不住一次次點擊刷新按鈕，當電子郵件完成加載時他看到了想要的東西：來自網飛的信息。

他們贏了。

“BellKor的實用主義混沌”團隊成員們第一次現身，他們聚集在紐約市四季酒店的新聞發布會上接受哈斯廷斯頒發的獎章，出席會議的有美國電話電報公司實驗室主任、哈斯廷斯、網飛首席技術官尼爾·亨特、“合唱組”團隊，還有一個記者團。

哈斯廷斯本不愿意去紐約召開新聞發布會，而是希望在洛斯加托斯舉行，但斯韋齊堅持這么做。他知道，這個獎項及其將近3年來的爭奪戰已經吸引了全球科學界及相當多普通人的關注。他們的成就值得通過一個全力以赴組織的正式典禮加以慶祝，儀式上要有演講、要有授予獲勝者金牌獎章的環節，還要安排媒體采訪。

典禮結束后，獲勝團隊召開了一次技術簡介會議，對他們的成功之路加以說明。到場人數讓斯韋齊非常興奮，幾乎所有媒體都愿意留下來聽取極其晦澀且長達一個小時的情況介紹，這更讓他感到喜出望外。這次會議強調了斯韋齊3年來在幕后所做的扎實工作，因為他激發了媒體對一場科學競賽的興趣。為了慶祝自己當天成功制造頭條新聞，他從四季酒店的拐角處溜出去，一個人享用了價格不菲卻平淡無奇的壽司晚餐，一切樂趣戛然而止，這讓他感到一絲凄涼。

“網飛獎”的新聞發布會形式及其品牌橫幅、醒目的道具和高科技硬件，后來成為低調的網飛國際服務推介會的范本。

貝爾和沃林斯基并未保留這筆獎金，而是各自指定了一個慈善機構作為捐贈對象。根據競賽規則的要求，美國電話電報公司授權網飛使用勝出算法，并將它應用到自己的U-verse電視服務中，以監測用戶的觀看習慣，并推薦他們可能喜歡的節目。

這次比賽成就了一個頗為先進的推薦系統，它能從行為線索中讀取人們的觀影喜好，也不再需要評分系統提供過多信息，尤其是當它搭配一個流媒體應用程序時。例如，這個系統可以快速測定特定訂閱用戶在星期一至星期五的某個晚上觀看喜劇、在周末肆意觀看幾集警察題材的電視劇，或在特定演員或場景出現時回看劇情的情況。

“我們在獲取你的喜好信息，而你什么都不用做?！蔽至炙够诒荣惤Y束后告訴我。訂閱用戶甚至不需要再為電影打分，因為嵌入機頂盒或網飛網站的一個程序會監測他們觀看的節目和電影及觀看方式，從而弄清楚其選擇是否值得記憶，以及如何在流媒體庫提供的電影上重復這一經驗。如果算法精確的機會比失誤的機會多，它就具備了一個成功品牌的要素——用戶的信任。

Cinematch算法代表著市場營銷和技術的聯姻，它賦予了網飛如此非凡的成就。由于用戶在有限的DVD倉庫中發現了他們想要的東西，他們會在離開視頻門店之后上網追隨網飛。他們給予這家公司的信任（輔以倫道夫的直觀用戶界面和無敵客戶服務，以及哈斯廷斯的美妙算法），使得它可以將電影租賃模式順利轉向流媒體傳輸，而其他諸多公司曾在這個領域遭遇了滑鐵盧。