讀不懂NeurIPS 2018的艱深論文？我們已經(jīng)為你劃好了重點(diǎn)互聯(lián)網(wǎng)+
導(dǎo)讀
學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西，又將給明年的AI帶來(lái)哪些新機(jī)會(huì)。
學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西，又將給明年的AI帶來(lái)哪些新機(jī)會(huì)。
AI的火爆，讓今天在加拿大蒙特利爾開(kāi)幕的第32屆神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS 2018），就成為了各國(guó)研究組織和企業(yè)刷存在感的香餑餑。
有多火呢？
據(jù)說(shuō)，今年的參會(huì)人數(shù)有9000人，大會(huì)門(mén)票在11分鐘內(nèi)被一搶而空。官方自己都吐槽，只比碧昂絲演唱會(huì)賣(mài)的慢一點(diǎn)。
之所以一票難求，還是因?yàn)榈綀?chǎng)的學(xué)術(shù)界、產(chǎn)業(yè)界大佬太多。谷歌、亞馬遜、Facebook、微軟是不會(huì)缺席的，華為、騰訊、阿里、百度等為代表的中國(guó)隊(duì)也斬獲頗豐。值得一提的是，今年還冒出了很多中美歐之外的新面孔，印度、XXX也都有機(jī)構(gòu)獲得了非常不錯(cuò)的成績(jī)。
當(dāng)然，學(xué)術(shù)會(huì)議核心的還是論文，NeurIPS 2018 今年也是收了個(gè)盆滿(mǎn)缽滿(mǎn)，一共收到 4856 篇投稿，創(chuàng)下了歷年來(lái)的最高記錄，最終被錄取的論文有 1011 篇，其中有44% 的論文作者放出了代碼，42% 將公布數(shù)據(jù)，無(wú)疑讓整場(chǎng)大會(huì)顯得干貨十足。
情況介紹的差不多了，接下來(lái)該上“硬貨”了。但學(xué)術(shù)名詞和論文推理讀起來(lái)都有點(diǎn)反人類(lèi)。因此，我們從自己的觀察中，為大家梳理了一下NeurIPS 2018可能是最重要的三大趨勢(shì)，幫助大家了解一下，學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西，又將給明年的AI帶來(lái)哪些新機(jī)會(huì)。
下面請(qǐng)大家系好安全帶，收起小桌板，準(zhǔn)備好瓜子花生肥宅快樂(lè)水，我們開(kāi)始吧。
趨勢(shì)一： 深度學(xué)習(xí)依然是“最強(qiáng)王者”
今年NeurIPS 2018評(píng)審的 4856篇論文中，深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、分布式學(xué)習(xí)等等領(lǐng)域依然是大熱門(mén)。
以獲得最佳論文獎(jiǎng)的四篇論文為例，來(lái)自加拿大多倫多大學(xué)Vector Institute，通過(guò)一種新的深度神經(jīng)網(wǎng)絡(luò)模型，采取自適應(yīng)來(lái)構(gòu)建歸一性，無(wú)需對(duì)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)或排序，就可以使用黑盒ODE求解器進(jìn)行端到端訓(xùn)練。
第二篇最佳論文的第一作者為加拿大麥克馬斯特大學(xué)Hassan Ashtiani，則通過(guò)新的相關(guān)分布?jí)嚎s來(lái)進(jìn)行分布式學(xué)習(xí)，解決了表征學(xué)習(xí)分布類(lèi)的樣本復(fù)雜性。
第三篇?jiǎng)t是來(lái)自華為諾亞方舟實(shí)驗(yàn)室擔(dān)任一作的研究，在兩種情況下研究了分布式優(yōu)化的最優(yōu)收斂速度，并提出了第一個(gè)最優(yōu)分散算法：多步原始對(duì)偶（MSPD）。
第四篇的作者全部來(lái)自Google AI，提出了新的策略一致性概念，結(jié)合多項(xiàng)數(shù)據(jù)集，解決大規(guī)模強(qiáng)化學(xué)習(xí)的妄想偏見(jiàn)問(wèn)題。
除了獲獎(jiǎng)的四篇，收錄的1011篇論文中還有不少是深度學(xué)習(xí)方向的文章（大約25%左右），還能在“王座”的位置上待一陣子。
不過(guò)，即便是深度學(xué)習(xí)也并不是在炒冷飯。顯然，學(xué)術(shù)界也在積極反思深度學(xué)習(xí)存在的一些效率、黑箱性等問(wèn)題，很多研究都是圍繞著對(duì)其進(jìn)行優(yōu)化展開(kāi)的。
在NeurIPS 2018的論文集中搜索“optimization”，得到了61個(gè)結(jié)果。由此可見(jiàn)，通過(guò)底層優(yōu)化算法，用更好的模型讓AI以更小的數(shù)據(jù)代價(jià)，更精準(zhǔn)地解決問(wèn)題，正在成為集體做功的方向。
趨勢(shì)二：一超多強(qiáng)，
難以跨越的谷歌和美帝？
有機(jī)構(gòu)對(duì)NeurIPS2018的論文集進(jìn)行了數(shù)據(jù)分析，發(fā)現(xiàn)Google（包括Deepmind）仍然是毋庸置疑的AI“霸主”，以 137 篇論文成功斬獲第一名，甚至將美國(guó)同行遠(yuǎn)遠(yuǎn)地甩在了身后。
此外，谷歌不但開(kāi)始向頂會(huì)反向輸送人才（今年大會(huì)的主席Samy Bengio就是來(lái)自谷歌的科學(xué)家 ），還開(kāi)始藝高人膽大地開(kāi)始探討很多極端領(lǐng)域命題。
比如通過(guò)Mesh-TensorFlow實(shí)現(xiàn)超級(jí)計(jì)算機(jī)的深度學(xué)習(xí)。利用一種分布式深度神經(jīng)網(wǎng)絡(luò)（DNN），對(duì)一些由于內(nèi)存限制而無(wú)法訓(xùn)練的超大模型，進(jìn)行高效分批處理。
谷歌利用512個(gè)TPU訓(xùn)練出了多達(dá)50億個(gè)參數(shù)的變壓器模型。這種基于大型數(shù)據(jù)集群的高效并行模型算法，足以讓其在處理航空、軍事、智慧城市等極端算力需求時(shí)，依然能保持穩(wěn)定高效實(shí)時(shí)處理。
另外，“美國(guó)勢(shì)力”還有不少?gòu)?qiáng)隊(duì)，其中MIT（68篇）與斯坦福（57篇）領(lǐng)銜學(xué)術(shù)界，Microsoft（46篇）和Facebook（13 篇）領(lǐng)銜工業(yè)界。
Facebook在機(jī)器視覺(jué)領(lǐng)域提出的不少新方式，像是“雙注意力網(wǎng)絡(luò)”、分塊坐標(biāo)搜索算法、能夠?qū)篃o(wú)聊的新推薦系統(tǒng)、SING音頻合成器等等，目測(cè)都將在來(lái)年給大眾早已“審美疲勞”的社交娛樂(lè)帶來(lái)不少新意。
總而言之，經(jīng)過(guò)幾年的激烈近身肉搏，人工智能技術(shù)競(jìng)爭(zhēng)格局的基本面目前已經(jīng)沒(méi)有爭(zhēng)議了，那就是谷歌的霸主地位幾乎難以撼動(dòng)，不過(guò)其他戰(zhàn)隊(duì)也出手不凡找到了各自的差異化突破路徑。
畢竟，谷歌還有不少純燒錢(qián)的技術(shù)，學(xué)術(shù)會(huì)議上再多的成功，未必真能在現(xiàn)實(shí)中凝結(jié)出商業(yè)的果實(shí)。這么想想，吃到了酸葡萄的大家心里想必好受了點(diǎn)。
趨勢(shì)三：中國(guó)身影與新晉黑馬
在這樣的競(jìng)爭(zhēng)格局下，自然有人不愿讓“美國(guó)勢(shì)力”專(zhuān)美。這次NeurIPS 2018，中國(guó)隊(duì)伍可謂是集體為國(guó)爭(zhēng)光了。
先說(shuō)四篇最佳論文（Best paper awards），華人科學(xué)家陳天琦，以及華為的諾亞方舟實(shí)驗(yàn)室，就分別以第一作者的身份摘得殊榮，占據(jù)了半壁江山。
華人學(xué)者也表現(xiàn)不俗，清華大學(xué)有 21 篇論文被收錄，論文數(shù)量排名第十。來(lái)自南京大學(xué)的張利軍就有 3 篇論文被收錄，周志華等人提出了無(wú)組織惡意攻擊檢測(cè)算法UMA，CMU的教授邢波和微軟研究院的朱澤園也有多篇論文榜上有名。
中國(guó)的科技企業(yè)巨頭也紛紛實(shí)力炫技。華為捧回最佳論文獎(jiǎng)，阿里iDST(數(shù)據(jù)科學(xué)與技術(shù)研究院)就霸氣演示了全中文demo，騰訊AI Lab則以 17 篇文章被收錄的實(shí)力與美國(guó)AI軍團(tuán)一較高下。
總體而言，中國(guó)軍團(tuán)的學(xué)術(shù)水準(zhǔn)體現(xiàn)出了不容忽視的力量感。
本屆大會(huì)一共發(fā)布了86篇論文，數(shù)量上接近10%，遠(yuǎn)超英法等國(guó)。質(zhì)量上AI那些關(guān)鍵領(lǐng)域一個(gè)都沒(méi)有遺漏，產(chǎn)學(xué)研各個(gè)層面都在進(jìn)入技術(shù)加速并肩甚至超越的黃金周期。
不過(guò)，人工智能的狂飆突進(jìn)也并不是只有中美在互相搶分。今年的最佳論文及作者，都有加拿大幾所大學(xué)的相關(guān)背景，加拿大在人工智能領(lǐng)域的存在感和影響力，比我們以為的要強(qiáng)得多。
在NeurIPS的AutoML挑戰(zhàn)賽中，來(lái)自印度的團(tuán)隊(duì)Autodidact.ai 也成功出道，取得競(jìng)賽第一名（清華、中南大學(xué)等隊(duì)伍摘得亞季軍）。
（NeurIPS 2018 AutoML for Lifelong Machine Learning 競(jìng)賽結(jié)果以及團(tuán)隊(duì)成員名單）
總而言之，在接下來(lái)的短時(shí)間內(nèi)，來(lái)自美國(guó)的企業(yè)和高校（谷歌/MIT）等依然代表著最強(qiáng)大的“科研勢(shì)力”，但其話(huà)語(yǔ)權(quán)是否也能進(jìn)一步擴(kuò)張？還真是未知數(shù)。
因?yàn)槠渌鲊?guó)的優(yōu)勢(shì)也越來(lái)越多，黑馬不斷涌現(xiàn)，而美國(guó)對(duì)AI也變得越來(lái)越敏感和防備（無(wú)處不在的政治正確、貿(mào)易戰(zhàn)下的嚴(yán)苛簽證策略），這些都正在悄無(wú)聲息地改變看似已經(jīng)被框定的AI世界。
那么，在感受谷歌“有技術(shù)就是可以為所欲為”的打擊之外，或許我們可以一起期待一下，未來(lái)的中國(guó)速度、印度速度、楓葉國(guó)現(xiàn)象……
有多火呢？
據(jù)說(shuō)，今年的參會(huì)人數(shù)有9000人，大會(huì)門(mén)票在11分鐘內(nèi)被一搶而空。官方自己都吐槽，只比碧昂絲演唱會(huì)賣(mài)的慢一點(diǎn)。
之所以一票難求，還是因?yàn)榈綀?chǎng)的學(xué)術(shù)界、產(chǎn)業(yè)界大佬太多。谷歌、亞馬遜、Facebook、微軟是不會(huì)缺席的，華為、騰訊、阿里、百度等為代表的中國(guó)隊(duì)也斬獲頗豐。值得一提的是，今年還冒出了很多中美歐之外的新面孔，印度、XXX也都有機(jī)構(gòu)獲得了非常不錯(cuò)的成績(jī)。
當(dāng)然，學(xué)術(shù)會(huì)議核心的還是論文，NeurIPS 2018 今年也是收了個(gè)盆滿(mǎn)缽滿(mǎn)，一共收到 4856 篇投稿，創(chuàng)下了歷年來(lái)的最高記錄，最終被錄取的論文有 1011 篇，其中有44% 的論文作者放出了代碼，42% 將公布數(shù)據(jù)，無(wú)疑讓整場(chǎng)大會(huì)顯得干貨十足。
情況介紹的差不多了，接下來(lái)該上“硬貨”了。但學(xué)術(shù)名詞和論文推理讀起來(lái)都有點(diǎn)反人類(lèi)。因此，我們從自己的觀察中，為大家梳理了一下NeurIPS 2018可能是最重要的三大趨勢(shì)，幫助大家了解一下，學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西，又將給明年的AI帶來(lái)哪些新機(jī)會(huì)。
下面請(qǐng)大家系好安全帶，收起小桌板，準(zhǔn)備好瓜子花生肥宅快樂(lè)水，我們開(kāi)始吧。
趨勢(shì)一： 深度學(xué)習(xí)依然是“最強(qiáng)王者”
今年NeurIPS 2018評(píng)審的 4856篇論文中，深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、分布式學(xué)習(xí)等等領(lǐng)域依然是大熱門(mén)。
以獲得最佳論文獎(jiǎng)的四篇論文為例，來(lái)自加拿大多倫多大學(xué)Vector Institute，通過(guò)一種新的深度神經(jīng)網(wǎng)絡(luò)模型，采取自適應(yīng)來(lái)構(gòu)建歸一性，無(wú)需對(duì)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)或排序，就可以使用黑盒ODE求解器進(jìn)行端到端訓(xùn)練。
第二篇最佳論文的第一作者為加拿大麥克馬斯特大學(xué)Hassan Ashtiani，則通過(guò)新的相關(guān)分布?jí)嚎s來(lái)進(jìn)行分布式學(xué)習(xí)，解決了表征學(xué)習(xí)分布類(lèi)的樣本復(fù)雜性。
第三篇?jiǎng)t是來(lái)自華為諾亞方舟實(shí)驗(yàn)室擔(dān)任一作的研究，在兩種情況下研究了分布式優(yōu)化的最優(yōu)收斂速度，并提出了第一個(gè)最優(yōu)分散算法：多步原始對(duì)偶（MSPD）。
第四篇的作者全部來(lái)自Google AI，提出了新的策略一致性概念，結(jié)合多項(xiàng)數(shù)據(jù)集，解決大規(guī)模強(qiáng)化學(xué)習(xí)的妄想偏見(jiàn)問(wèn)題。
除了獲獎(jiǎng)的四篇，收錄的1011篇論文中還有不少是深度學(xué)習(xí)方向的文章（大約25%左右），還能在“王座”的位置上待一陣子。
不過(guò)，即便是深度學(xué)習(xí)也并不是在炒冷飯。顯然，學(xué)術(shù)界也在積極反思深度學(xué)習(xí)存在的一些效率、黑箱性等問(wèn)題，很多研究都是圍繞著對(duì)其進(jìn)行優(yōu)化展開(kāi)的。
在NeurIPS 2018的論文集中搜索“optimization”，得到了61個(gè)結(jié)果。由此可見(jiàn)，通過(guò)底層優(yōu)化算法，用更好的模型讓AI以更小的數(shù)據(jù)代價(jià)，更精準(zhǔn)地解決問(wèn)題，正在成為集體做功的方向。
趨勢(shì)二：一超多強(qiáng)，
難以跨越的谷歌和美帝？
有機(jī)構(gòu)對(duì)NeurIPS2018的論文集進(jìn)行了數(shù)據(jù)分析，發(fā)現(xiàn)Google（包括Deepmind）仍然是毋庸置疑的AI“霸主”，以 137 篇論文成功斬獲第一名，甚至將美國(guó)同行遠(yuǎn)遠(yuǎn)地甩在了身后。
此外，谷歌不但開(kāi)始向頂會(huì)反向輸送人才（今年大會(huì)的主席Samy Bengio就是來(lái)自谷歌的科學(xué)家 ），還開(kāi)始藝高人膽大地開(kāi)始探討很多極端領(lǐng)域命題。
比如通過(guò)Mesh-TensorFlow實(shí)現(xiàn)超級(jí)計(jì)算機(jī)的深度學(xué)習(xí)。利用一種分布式深度神經(jīng)網(wǎng)絡(luò)（DNN），對(duì)一些由于內(nèi)存限制而無(wú)法訓(xùn)練的超大模型，進(jìn)行高效分批處理。
谷歌利用512個(gè)TPU訓(xùn)練出了多達(dá)50億個(gè)參數(shù)的變壓器模型。這種基于大型數(shù)據(jù)集群的高效并行模型算法，足以讓其在處理航空、軍事、智慧城市等極端算力需求時(shí)，依然能保持穩(wěn)定高效實(shí)時(shí)處理。
另外，“美國(guó)勢(shì)力”還有不少?gòu)?qiáng)隊(duì)，其中MIT（68篇）與斯坦福（57篇）領(lǐng)銜學(xué)術(shù)界，Microsoft（46篇）和Facebook（13 篇）領(lǐng)銜工業(yè)界。
Facebook在機(jī)器視覺(jué)領(lǐng)域提出的不少新方式，像是“雙注意力網(wǎng)絡(luò)”、分塊坐標(biāo)搜索算法、能夠?qū)篃o(wú)聊的新推薦系統(tǒng)、SING音頻合成器等等，目測(cè)都將在來(lái)年給大眾早已“審美疲勞”的社交娛樂(lè)帶來(lái)不少新意。
總而言之，經(jīng)過(guò)幾年的激烈近身肉搏，人工智能技術(shù)競(jìng)爭(zhēng)格局的基本面目前已經(jīng)沒(méi)有爭(zhēng)議了，那就是谷歌的霸主地位幾乎難以撼動(dòng)，不過(guò)其他戰(zhàn)隊(duì)也出手不凡找到了各自的差異化突破路徑。
畢竟，谷歌還有不少純燒錢(qián)的技術(shù)，學(xué)術(shù)會(huì)議上再多的成功，未必真能在現(xiàn)實(shí)中凝結(jié)出商業(yè)的果實(shí)。這么想想，吃到了酸葡萄的大家心里想必好受了點(diǎn)。
趨勢(shì)三：中國(guó)身影與新晉黑馬
在這樣的競(jìng)爭(zhēng)格局下，自然有人不愿讓“美國(guó)勢(shì)力”專(zhuān)美。這次NeurIPS 2018，中國(guó)隊(duì)伍可謂是集體為國(guó)爭(zhēng)光了。
先說(shuō)四篇最佳論文（Best paper awards），華人科學(xué)家陳天琦，以及華為的諾亞方舟實(shí)驗(yàn)室，就分別以第一作者的身份摘得殊榮，占據(jù)了半壁江山。
華人學(xué)者也表現(xiàn)不俗，清華大學(xué)有 21 篇論文被收錄，論文數(shù)量排名第十。來(lái)自南京大學(xué)的張利軍就有 3 篇論文被收錄，周志華等人提出了無(wú)組織惡意攻擊檢測(cè)算法UMA，CMU的教授邢波和微軟研究院的朱澤園也有多篇論文榜上有名。
中國(guó)的科技企業(yè)巨頭也紛紛實(shí)力炫技。華為捧回最佳論文獎(jiǎng)，阿里iDST(數(shù)據(jù)科學(xué)與技術(shù)研究院)就霸氣演示了全中文demo，騰訊AI Lab則以 17 篇文章被收錄的實(shí)力與美國(guó)AI軍團(tuán)一較高下。
總體而言，中國(guó)軍團(tuán)的學(xué)術(shù)水準(zhǔn)體現(xiàn)出了不容忽視的力量感。
本屆大會(huì)一共發(fā)布了86篇論文，數(shù)量上接近10%，遠(yuǎn)超英法等國(guó)。質(zhì)量上AI那些關(guān)鍵領(lǐng)域一個(gè)都沒(méi)有遺漏，產(chǎn)學(xué)研各個(gè)層面都在進(jìn)入技術(shù)加速并肩甚至超越的黃金周期。
不過(guò)，人工智能的狂飆突進(jìn)也并不是只有中美在互相搶分。今年的最佳論文及作者，都有加拿大幾所大學(xué)的相關(guān)背景，加拿大在人工智能領(lǐng)域的存在感和影響力，比我們以為的要強(qiáng)得多。
在NeurIPS的AutoML挑戰(zhàn)賽中，來(lái)自印度的團(tuán)隊(duì)Autodidact.ai 也成功出道，取得競(jìng)賽第一名（清華、中南大學(xué)等隊(duì)伍摘得亞季軍）。
（NeurIPS 2018 AutoML for Lifelong Machine Learning 競(jìng)賽結(jié)果以及團(tuán)隊(duì)成員名單）
總而言之，在接下來(lái)的短時(shí)間內(nèi)，來(lái)自美國(guó)的企業(yè)和高校（谷歌/MIT）等依然代表著最強(qiáng)大的“科研勢(shì)力”，但其話(huà)語(yǔ)權(quán)是否也能進(jìn)一步擴(kuò)張？還真是未知數(shù)。
因?yàn)槠渌鲊?guó)的優(yōu)勢(shì)也越來(lái)越多，黑馬不斷涌現(xiàn)，而美國(guó)對(duì)AI也變得越來(lái)越敏感和防備（無(wú)處不在的政治正確、貿(mào)易戰(zhàn)下的嚴(yán)苛簽證策略），這些都正在悄無(wú)聲息地改變看似已經(jīng)被框定的AI世界。
那么，在感受谷歌“有技術(shù)就是可以為所欲為”的打擊之外，或許我們可以一起期待一下，未來(lái)的中國(guó)速度、印度速度、楓葉國(guó)現(xiàn)象……
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為T(mén)MT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
