題 目:淺談深度學(xué)習(xí)在圖像復(fù)原與合成中的應(yīng)用
時(shí) 間:2023年4月5日 周三 17:00-18:30
地 點(diǎn):騰訊會(huì)議(會(huì)議號(hào):140-254-977)
主辦單位:西南石油大學(xué) 科研處 計(jì)算機(jī)科學(xué)學(xué)院
主講人:張宇倫
內(nèi)容簡(jiǎn)介:基于深度學(xué)習(xí)的圖像復(fù)原與合成,在當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域扮演著基礎(chǔ)而重要的角色。相關(guān)技術(shù)被廣泛應(yīng)用到移動(dòng)設(shè)備(比如,手機(jī))或者催生一批高估值創(chuàng)業(yè)公司。然而,如何設(shè)計(jì)高效的深度卷積神經(jīng)網(wǎng)絡(luò),以此來(lái)提取更高質(zhì)量的特征,進(jìn)行更好的圖像復(fù)原與合成,仍然頗具挑戰(zhàn)性。此次報(bào)告,我將介紹我們近期在通道與空間維度上增強(qiáng)深度特征的一些工作。對(duì)于圖像復(fù)原,我先簡(jiǎn)述我們提出的殘差密集網(wǎng)絡(luò),然后介紹residual in residual (RIR)結(jié)構(gòu)來(lái)訓(xùn)練非常深的圖像超分辨率網(wǎng)絡(luò)。這種RIR結(jié)構(gòu)使得網(wǎng)絡(luò)能學(xué)習(xí)到更多高頻信息,這種信息對(duì)重構(gòu)高質(zhì)量輸出至關(guān)重要。之后,我將探索注意力機(jī)制(比如,通道和空間注意力,Transformer,Diffusion等)在圖像復(fù)原任務(wù)中的應(yīng)用。對(duì)于圖像合成,我將介紹基于圖割的多峰風(fēng)格變換。我們將高維深度特征進(jìn)行降維并且可視化,以此發(fā)現(xiàn)了風(fēng)格深度特征的多峰分布現(xiàn)象。進(jìn)而將風(fēng)格匹配問(wèn)題歸結(jié)為能量最小化問(wèn)題并用圖割的方法來(lái)求解該問(wèn)題。因此,圖像匹配中變換后的特征包含了更多空間語(yǔ)義信息,能提供更多視覺(jué)效果更好的風(fēng)格化效果。此外,我們還探索了高放大倍數(shù)下,關(guān)于紋理遷移的圖像合成問(wèn)題。最后,我將結(jié)合我們近期的一些相關(guān)工作(比如,生物醫(yī)學(xué)圖像分析,模型剪枝與量化等),給出一些個(gè)人的淺見(jiàn)和展望。
主講人簡(jiǎn)介:張宇倫,蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室博士后研究員。2009-2013年,本科就讀于西安電子科技大學(xué)電子工程學(xué)院智能科學(xué)與技術(shù)專(zhuān)業(yè)。2014-2017年,碩士就讀于清華大學(xué)自動(dòng)化系,碩士期間曾在南洋理工大學(xué),悉尼大學(xué)及中科院深圳先進(jìn)技術(shù)研究院等機(jī)構(gòu)從事訪(fǎng)問(wèn)研究。2017-2021年,博士就讀于美國(guó)東北大學(xué)電子與計(jì)算機(jī)工程系。博士期間,先后在A(yíng)dobe與哈佛大學(xué)從事實(shí)習(xí)和訪(fǎng)問(wèn)研究。他的主要研究方向是圖像/視頻復(fù)原與合成,生物醫(yī)學(xué)圖像分析,模型壓縮,計(jì)算成像等。他目前在計(jì)算機(jī)視覺(jué),機(jī)器學(xué)習(xí),多媒體等領(lǐng)域的國(guó)際期刊(如TPAMI)和會(huì)議(如CVPR, ICCV, ECCV, ICLR, NeurIPS)上發(fā)表學(xué)術(shù)論文60余篇。目前,谷歌學(xué)術(shù)引用11000余次,單篇一作論文引用3200余次。獲得6項(xiàng)中國(guó)授權(quán)專(zhuān)利和3項(xiàng)美國(guó)授權(quán)專(zhuān)利,專(zhuān)利技術(shù)被應(yīng)用到Adobe Photoshop軟件。獲得2015年IEEE VCIP最佳學(xué)生論文獎(jiǎng),2019年 IEEE ICCV RLQ Workshop最佳論文獎(jiǎng)。擔(dān)任CVPR 2023, ICCV 2023, NeurIPS 2023領(lǐng)域主席(AC),IJCAI 2021-2023, AAAI 2023資深程序委員(SPC),NTIRE Workshop組織者之一,TPAMI, IJCV, ICCV, ECCV, ICLR, NeurIPS, ICML等期刊和會(huì)議審稿人。