50萬美元冠軍成績(jī)被莫名取消，F(xiàn)acebook熱門數(shù)據(jù)競(jìng)賽引爭(zhēng)議

板橋胡同37號(hào) 2020-06-14

展開全文

機(jī)器之心報(bào)道

參與：澤南、蛋醬

Facebook AI 團(tuán)隊(duì)今天宣布了首個(gè) Deepfake 檢測(cè)挑戰(zhàn)賽（DFDC）的結(jié)果，第一名算法的識(shí)別準(zhǔn)確率達(dá) 82.56%。然而比結(jié)果更加耐人尋味的是，原本獲得頭名的團(tuán)隊(duì)成績(jī)被取消了。

本屆 Deepfake 比賽，主辦方 Facebook 開出了共計(jì)百萬美元的獎(jiǎng)金，其中頭名團(tuán)隊(duì)可以獲得 50 萬美元。在這項(xiàng)賽事中，數(shù)據(jù)科學(xué)家們需要通過算法檢測(cè)出使用 Deepfake 技術(shù)換臉的「虛假圖像」，幫助阻止惡意篡改的圖片誤導(dǎo)他人。

Deepfake 技術(shù)通過深度學(xué)習(xí)算法可以實(shí)現(xiàn)換臉、換表情，時(shí)有通過這種技術(shù)制造的假新聞傳出，近年來已越來越讓人們感到擔(dān)憂。

豐厚的獎(jiǎng)金，熱門的研究領(lǐng)域讓 DFDC 在去年 9 月宣布以來受到了業(yè)內(nèi)的廣泛關(guān)注。這項(xiàng)比賽在去年 12 月的 NeurIPS 2019 大會(huì)上公布了數(shù)據(jù)集并正式開始，今年 3 月 31 日結(jié)果提交正式截止。據(jù)統(tǒng)計(jì)，這一在著名數(shù)據(jù)競(jìng)賽平臺(tái) Kaggle 上進(jìn)行的比賽吸引了 2114 名參與者，并獲得了 3.5 萬種檢測(cè)算法，最終得出的最高準(zhǔn)確率達(dá) 82.56％，整體平均準(zhǔn)確度為 65.18%。

在賽后 Facebook 表示，Deepfake 檢測(cè)仍然是一個(gè)「未解決的問題」。

成功舉辦的賽事本是一件可喜可賀的事情，F(xiàn)acebook 還將獲勝團(tuán)隊(duì)的方法以及競(jìng)賽數(shù)據(jù)集寫成了論文，計(jì)劃在下周舉行的 CVPR 2020 上向人們進(jìn)行介紹。然而事情沒有這么簡(jiǎn)單，原排名第一團(tuán)隊(duì)「All Faces Are Real Team」的抗議出現(xiàn)在 Kaggle 社區(qū)上，成為了人們關(guān)注的焦點(diǎn)。

在這場(chǎng)比賽中，原本排名第一的團(tuán)隊(duì)因?yàn)閿?shù)據(jù)的原因，優(yōu)勢(shì)方案被取消成績(jī)，最終他們的第二方案獲得了第七名。該團(tuán)隊(duì)的成員表示，在過去兩個(gè)月中，這一團(tuán)隊(duì)與 Facebook 進(jìn)行了多輪接觸，但沒有獲得令兩方信服的結(jié)果。

今天，該團(tuán)隊(duì)對(duì)此事發(fā)表了一份聲明，完整聲明如下：

致 Kaggle、Facebook 托管團(tuán)隊(duì)和各位參賽者們：

首先，我們要向 Kaggle 和 Facebook 托管團(tuán)隊(duì)表示感謝。感謝他們創(chuàng)建了這一數(shù)據(jù)集以及舉辦本次競(jìng)賽，并在此向所有最終獲獎(jiǎng)?wù)弑硎咀ＹR。

我們想在這里進(jìn)一步解釋一下，關(guān)于我們的獲勝解決方案無效的問題。以及我們第二方案在 LB 上的情況變動(dòng)。

為了應(yīng)對(duì) Private LB 的激烈競(jìng)爭(zhēng)，我們準(zhǔn)備了兩個(gè)解決方案，最終分別獲得 0.42320 和 0.44531 的 Private LB 分?jǐn)?shù)。對(duì)于在 Public LB 上得分更高的 0.44531 方案，我們僅使用了競(jìng)賽數(shù)據(jù)和 12 個(gè)模型的未加權(quán)均值：這是我們?cè)?LB 上保持第七名位置的方案。對(duì)于我們最初的獲獎(jiǎng)方案（0.42320），我們將使用競(jìng)賽數(shù)據(jù)訓(xùn)練的 6 個(gè)模型和使用一些外部數(shù)據(jù)訓(xùn)練的 9 個(gè)模型混合在了一起。

比賽官方最終公布的前十名成績(jī)，All Faces Are Real 排名第七，但這只是該隊(duì)提交的第二個(gè)成績(jī)。

在這個(gè)最初獲勝的模型中，我們使用了這些外部數(shù)據(jù)：

flickrface 數(shù)據(jù)集：我們使用了該數(shù)據(jù)集尺寸調(diào)整后的版本。其中一些圖像不允許用于商業(yè)用途，我們選用的是原始 GitHub 上允許商業(yè)使用的圖像，并按照許可類型和本次競(jìng)賽規(guī)范進(jìn)行訓(xùn)練。許可包括以下幾種：CC-BY, Public Domain Mark 1.0, Public Domain CC0 1.0, U.S. Government Works。

Youtube 視頻圖像：按照 CC-BY 許可從一些 Youtube 視頻中創(chuàng)建了人臉圖像數(shù)據(jù)集，該許可已標(biāo)明允許用于商業(yè)用途。

我們選用這些數(shù)據(jù)源時(shí)，確信它們符合外部數(shù)據(jù)使用的相關(guān)規(guī)則，尤其是外部數(shù)據(jù)「必須可供競(jìng)賽的所有參賽者用于比賽目的，其他參與者可無償使用」，在外部數(shù)據(jù)的其他聲明中，它們必須可用于商業(yè)用途，不局限于教學(xué)用途。

但在我們與 Facebook 以及 Kaggle 的申辯過程中，我們被告知盡管符合以上規(guī)定，卻違反了「獲勝作品提交文檔」的規(guī)定：

獲勝作品提交文檔（競(jìng)賽專門規(guī)則第 4 部分）

除了遵循 Kaggle 文檔指南之外，獲勝作品提交文檔還必須遵循以下規(guī)則：

A. 如果提交文檔的任何部分描述、標(biāo)識(shí)或包括了非本次參與者的任何人，則必須具備所描述、標(biāo)識(shí)或包括的個(gè)人的許可和授權(quán)，并且您需要根據(jù)要求提供書面形式的確認(rèn)證明給競(jìng)賽贊助商和 PAI。

B. 提交的文檔不得侵犯、挪用、有損第三方的任何權(quán)利，包括但不限于版權(quán)（包括精神權(quán)利）、商標(biāo)、商業(yè)機(jī)密、專利、隱私權(quán)或公開權(quán)。

具體來說，我們被（Facebook）要求提供出現(xiàn)在我們外部數(shù)據(jù)集中的每個(gè)人的附加許可。但這些數(shù)據(jù)來自公共數(shù)據(jù)集，所以我們未出示其中每一個(gè)人的具體書面許可，也無法識(shí)別這些人。我們?cè)诟?jìng)賽過程中，沒有意識(shí)到競(jìng)賽的外部數(shù)據(jù)應(yīng)屬于「文檔」以及外部數(shù)據(jù)規(guī)則，因此也未從上述人員那里得到這些許可。

我們懷疑大多數(shù)參賽者也沒有意識(shí)到這些附加限制的存在——大致觀察了一下，并沒有哪個(gè)參賽方案在外部數(shù)據(jù)方面滿足上述要求。在競(jìng)賽中，有關(guān)外部數(shù)據(jù)使用的規(guī)則被反復(fù)申明多次，這讓我們好奇，為什么 Kaggle 卻沒有機(jī)會(huì)講清楚外部數(shù)據(jù)必須額外遵循獲勝提交文檔這一更加嚴(yán)格的規(guī)則。

另一個(gè)問題是，F(xiàn)acebook 感覺我們的某些標(biāo)記為 CC-BY 的外部數(shù)據(jù)「明顯侵犯了第三方的權(quán)利」，目前不太清楚他們指的是哪些數(shù)據(jù)。即使事實(shí)如此，Kaggle 團(tuán)隊(duì)也應(yīng)該追查并驗(yàn)證發(fā)布該數(shù)據(jù)集的人是否有權(quán)利這樣做，以及我們?yōu)榱烁?jìng)賽文檔的提交必須聘請(qǐng)權(quán)利清算服務(wù)——對(duì)方建議在提交競(jìng)賽成績(jī)之前將外部數(shù)據(jù)傳遞給我們的律師，以確保沒有侵權(quán)。

盡管我們認(rèn)為這些額外的規(guī)則本可以在比賽中闡明，并且希望 Kaggle 在以后的比賽中在開始就闡明這些規(guī)則，但我們知道在這種情況下我們無能為力。我們與 Kaggle 和 Facebook 進(jìn)行了建設(shè)性的交流，我們對(duì)此表示感謝。在電話會(huì)議后大家一致同意，由于我們沒有故意破壞任何規(guī)則，因此應(yīng)該保留未使用任何外部數(shù)據(jù)的提交內(nèi)容，而僅取消獲勝的提交內(nèi)容的資格。

盡管如此，我們對(duì)花費(fèi)數(shù)月在比賽中獲得如此結(jié)果仍然非常失望。成功的 Kaggle 競(jìng)賽依賴于競(jìng)爭(zhēng)對(duì)手和 Kaggle 之間的信任，只有信任才能讓我們公平地解釋和執(zhí)行規(guī)則，但這種信任已被破壞。

Giba、Mikel、Yifan、Gary 與 Qishen

All Faces are Real

沒有觸犯任何規(guī)則卻被取消了成績(jī)，還要求參賽隊(duì)伍提交額外數(shù)據(jù)集里出現(xiàn)人物每個(gè)人肖像的授權(quán)許可，facebook 這樣「魔性」的要求讓參賽隊(duì)伍在過去兩個(gè)月的交涉過程中身心俱疲。這一事件爆出后立即引發(fā)了社區(qū)的大量討論，F(xiàn)acebook 對(duì)于頭名團(tuán)隊(duì)的奇怪要求成為了主要槽點(diǎn)：

英偉達(dá)資深系統(tǒng)軟件工程師，Kaggle Grandmaster 獲得者 Bojan Tunguz 對(duì)此表示：「幾乎所有計(jì)算機(jī)視覺研究都依賴于預(yù)先訓(xùn)練的模型，這些模型顯然已經(jīng)在有人類照片的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。如果我們需要所有這些人的明確同意才能進(jìn)行研究，那么就不會(huì)有什么開放科學(xué)?！?/span>

根據(jù) Kaggle 條款，除非法律禁止，否則你與任何競(jìng)賽實(shí)體因?yàn)閿?shù)據(jù)競(jìng)賽產(chǎn)生的糾紛，任何獎(jiǎng)項(xiàng)的確定都不得訴諸于任何形式的集體訴訟。因此這一爭(zhēng)議目前看來無法通過法律途徑來解決了。

但 All Faces Are Real Team 的成員表示，已經(jīng)在尋求律師幫助，但是作為參賽選手，法律上受到的保護(hù)有限。

參考鏈接：

https://www./c/deepfake-detection-challenge/discussion/157983

https://ai./blog/deepfake-detection-challenge-results-an-open-initiative-to-advance-ai/

世界人工智能大會(huì)線上活動(dòng)（WAIC）是由上海市政府打造的國際頂級(jí)人工智能會(huì)議。為進(jìn)一步促進(jìn)人工智能技術(shù)與產(chǎn)業(yè)相融合，推動(dòng)開發(fā)者技術(shù)生態(tài)建設(shè)，WAIC 2020年黑客馬拉松將于7月9日-11日期間舉辦。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：板橋胡同37號(hào) > 《AI》

舉報(bào)/認(rèn)領(lǐng)