TMT观察网_独特视角观察TMT行业

專訪微軟童欣:VR是新媒體,AR是服務平臺,兩者都是未來智能

青亭網 2017-11-30 20:50
分享到:
導讀

在AR環境中是一個半透明的顯示,這時候我們不僅需要看到顯示的虛擬圖形,也要看到真實的世界,在疊加的環境中,并不會受到延遲等影響。在顯示內容方面,也是一個很難的問題,因為我們需要大視角…

如今VR已經變成老生常談的話題,2016年火了一把之后今年有些疲倦之勢。與此同時,隨著蘋果ARKit和谷歌ARCore等技術的推出,AR這個看似離我們很遠的東西正在通過手機等移動載體快速進入大家的生活。

“現有的VR和AR設備已經擁有出色的體驗,例如探索遙遠的太空,用于工業設計輔助參考、醫學培訓等。不過,這些激動人心的應用實現的關鍵在于高質量的三維內容,沒有則會大打折扣。”童欣在ICEVE 2017大會演講時說到。

20171116102211-9a351470-me

微軟亞洲研究院的網絡圖形組首席研究員 童欣

然而和以往相比,現有的三維內容產生方式并沒有本質上的變化,三維內容的生成工具依舊很復雜,需要藝術家進行大量的手工工作,同時三維內容的捕捉工具對于普通用戶而言也非常困難,這些還得依賴專業的工作室,它們造價昂貴,普通用戶不能簡單的完成這些操作,依舊面臨很多難題。

童欣是微軟亞洲研究院的網絡圖形組首席研究員,在研究院內部人們親切地將他稱之為 “童姥”。他在微軟所從事的工作用一句話概括就是:希望通過智能化的方式來代替以往繁瑣的操作步驟,讓用戶更快速、簡單的生成高質量三維內容。

不過一個有潛力的解決方案是,如今通過很多便宜的捕捉設備(RGB攝像頭、深度攝像頭等),專業藝術家們已經創建的大量的高質量三維內容,和機器學習技術,讓普通用戶快速生成三維內容變成了可能。以下是童欣在本次演講的三個研究方向。

一,草圖快速生成三維圖像

沒想到的是,微軟圖形組潘浩,劉洋研究員等人的研究成果竟能讓一張簡單的草圖就能讓用戶快速創建三維內容。例如圖中的貝殼,只需畫出輪廓線,中間用曲線(Bendline)的形式勾繪,來表明凸起或凹陷的程度,對于變化尖銳、不連續的地方只需用曲線標注一下即可。

20171116102337-6499ca73-me

有了基本草圖之后,算法通過人們總結出來的幾何約束和幾何知識,自動的從草圖中推斷出三維形狀。之后,就需要算法識別出哪一段曲線的形狀是凸起或凹陷的,這些數據在圖中就形成一個方向場,根據這些方向場,把物體表面的法向恢復出來,從而形成三維的圖像。

這套系統簡單到什么程度:對于普通用于而言只需約20分鐘,就能學會快速生成質量較為不錯的三維內容。而對于專業用戶而言,通過該系統可形成初始版本三維內容,之后可導出至專業軟件工具進行細節的調整和修飾,從而達到快速設計的目的。

二,機器學習,生成高質量貼圖

通過現有的高質量的圖片,自動為三維內容生成高質量的材質貼圖。傳統的工作需要藝術家通過PS等工具進行大量手工操作。

而研究院的另外一項技術,就是希望通過機器學習的算法,代替繁瑣的手工,自動快速的幫助用戶實時生成材質貼圖,即便生成的效果不夠理想,也能通過簡單的修改達到可以正常使用的模型。

微信截圖_20171122144404

利用深度學習技術做這件事情的前提是需要大量的訓練數據,這件事情非常難。一個我們觀察到的有意思的現象是,網絡上存有大量的貼圖照片,同時繪制算法已經相對成熟,它可以幫助我們生成高質量的圖像,這個逆向的過程是可直接拿來用的。于是,研究院的董悅研究員等人開發了自增強的深度神經網絡訓練算法。

利用網上下載大量高質量圖片,和逆向的繪制過程一起來完成這個深度學習的過程。實際效果上,這種算法合成的貼圖無論是應用在金屬、木頭、塑料等材質上都有著很好的效果。童欣講到,目前這項技術已經開源,任何人都能免費使用這些。

三,動態三維物體的生成

除了這些固定外形的三維物體外,微軟的圖形研究小組還在研究動態的三維模型的設計和打印。這其中,軟體機器人就是一個很典型的研究案例,通過給軟體機器人充氣,給定不同氣壓,可以實現不同的作用和功能,這是由圖形組的張譯中副研究員等人最近發表的工作。

微信截圖_20171122144504

對于用戶而言,這項技術只需給出數字三維模型的自然形狀和變化后的形狀,之后算法就會計算出哪些部分不需要變形,把不需要變形的部分用堅固的材質填充起來。再通過算法計算出氣囊大小、形狀、位置等,最后用線框將三維物體進行包裹,以控制哪些地方需要變形,哪些地方不需要變形。

之后,對線框內的材質進行再次優化,控制好材質的硬度和變形方向。最后用3D打印機打印出來,得到最后的形狀。例如,這個心臟,需要分成幾塊進行打印。

以上是童欣在本次演講中談到的幾個最新的研究成果。同時他還提到,本次談到的的智能不僅僅指的是機器學習技術,它還包含人類在過去總結出的幾何知識、物理知識、高端的物理模擬計算機制,這些都可以和機器學習算法一起,來幫助用戶快速、簡單的創建三維內容。

童欣認為:“距離普通用戶生成三維內容還有很多工作要做,我們最終的愿景是,希望通過5-10年時間讓用戶能夠像拍照一樣快速的生成三維內容。”

本屆ICEVE活動后,青亭網也針對VR和AR領域的一些問題和童欣展開了討論,本次采訪圍繞這360度全景視頻方面進行展開,其中關于視頻傳輸過程中的壓縮和解壓,6DoF全自由度視頻以及全景視頻中的焦距等方面,以下是采訪摘要。

青亭網:計算機圖形學應用在VR和AR中的體現哪些方面?

童欣:我研究的內容主要集中在高質量的三維內容生成。目前的VR和AR視頻都是需要去捕捉的,但是如果你想對這些視頻中的人或者物體進行編輯的話就非常難。

這就和我們人工創造的視頻就不同了,人工創造的視頻正好相反,你創造的所有的三維內容都可以進行編輯和修改的,這個是它的好處。對于我們來說,要解決的一些問題是:我們怎么能夠幫助用戶,簡單快捷的獲取這些三維內容。比如說,我們想把這個椅子掃描下來,同時需要獲取椅子的形狀和材質。首先就需要拿一臺三維掃描儀過來,經過編輯獲取椅子三維圖像后,再把椅子的材質捕捉下來,然后把材料和椅子貼合到一起,這樣就能把椅子放在任何虛擬環境中進行渲染了。

我們想做的事情就是,簡化這個流程,能讓他快速獲取這些。普通用戶只需要攝像頭或深度攝像頭就能獲取這些東西,希望用戶的手工工作越少越好。另外還有很多藝術家,他直接去創造他腦中虛擬的形象,我們也在研究一些技術,能夠幫助他們快速生成他們想要的東西。

青亭網:圖形學對于VR和AR視頻的影響有哪些?

童欣計算機圖形學(Computer Graphics)在計算機分支中算是一門應用學科,我們的研究基本上圍繞在計算機中如何創建、表達、顯示、操作各種可視媒體內容(Graphics Content)。

隨著VR設備的誕生,全景視頻就變成最直觀最迫切的需求,從真實世界中捕捉、再現的這種媒體形式,也給用戶帶來更沉浸的使用體驗。

雖然近些年的硬件迭代更新延續不斷,但軟件層面的技術上并沒有新突破,基本還在沿用前些年的技術。在360度全景視頻內容生成、壓縮、傳輸方面,可能還會遇到新的挑戰,但在捕捉方面該有的問題還是在那里。

微信截圖_20171120110204

青亭網:360度全景視頻的壓縮,與常規2D視頻壓縮的不同點

童欣常規視頻壓縮以“流”的形式傳播,有一個很強的時序,大部分人在看視頻時不會倒著看,最多選取其中一段觀看,但基本都是按順序在播放。

而360度全景視頻中,雖然在時間上雖然并沒有較大改觀,但是你看到的內容實際上是其中一小塊,觀看時只會選取視角前的內容,意味著必須要在任何時刻都能隨時做到存取其中的任意一塊內容,這也是和傳統視頻壓縮最大的不同點。

另外,傳統視頻壓縮為時間流做了非常多的優化,通常的做法是進行關鍵幀和非關鍵幀的區分,在關鍵幀時壓縮每一幀的內容,而在非關鍵幀時壓縮這一幀和關鍵幀之間的差別,通過這樣的技術來達到更高的壓縮比。

不過,這套技術并不完全適用在360度全景視頻中,尤其是在存取較遠關鍵幀時會帶來連貫性的丟失,這會直接影響全景視頻的體驗。

此外,大家對于VR內容的反饋要求更高,隨著視頻內容分辨率更高,每次又只讀取一小塊內容,無疑也在增加解壓過程的難度。因為,只有解壓速度足夠快時,才能夠保證實時的反饋輸出效果。

青亭網:全景視頻傳輸的存在的難點(目前的無線VR傳輸方案已經有不少,包括像TPCAST等推出了VR無線套件體驗都還不錯,同時還有即將到來的5G移動網絡,這些技術對于VR內容的傳輸來講有哪些難點呢?)

timg (1)

童欣大家最關心有以下兩點:

1, 帶寬。帶寬的問題相對來講好解決,特別是在近距離環境,相當于一個專有網絡,只要把技術做到位,帶寬就可以做到足夠大。

2, 延遲。相比較帶寬而言,延遲的問題顯得更為重要。因為體驗者的頭部是運動的,并且是在本地發生的,把內容通過流媒體的形式傳送到頭顯中,如果當頭部轉動時流媒體內容沒有及時傳送到,這種延遲就會帶來眩暈感。因此相比較帶寬而言,延遲可看作是VR視頻無線傳輸中更重要的問題。

青亭網:如何看待6DoF全景視頻

童欣6DoF全自由度全景視頻最難的地方在于全光函數(自然界中給定一個場景,里面所有光線的集合)采樣,如果不考慮任何物體幾何的因素,能把全光函數捕捉下來,就意味著你在任何一個點都能獲得來自任何方向的光強,這樣就可以實現6DoF的漫游。

全光函數

不過擺在目前的難題是,全光函數的數據量是非常非常大的,無論是從捕捉、壓縮,還顯示來看都是一個巨大的挑戰,這些也是原來基于圖像繪制、捕捉中研究的基本問題。

全景視頻的捕捉基本上只有兩個方式:

1, 先捕捉,后壓縮

不管三七二十一,把視頻先捕捉下來,然后通過壓縮技術、分析技術,然后傳遞給用戶。不過,這樣的方式僅對傳統的靜態視頻奏效,對于6Dof的動態視頻而言實現起來太難了。

2,關鍵點捕捉

捕捉時需根據場景內容預先做一些稀疏的工作,例如選取幾個關鍵點進行捕捉。完成兩個點的捕捉后,我需要做的是從這個視點到另外一個視點的漫游,在兩個之間做插值,讓你看不出任何破綻來。

然而在這里面就涉及到一堆計算機視覺的問題。

首先,需要對場景進行一些識別和重建,只有重建找到對應關系后,才能在之間做插值。最難解決的問題就是遮擋,如果從這個視點到另外一個視點中間被遮住,當我走到中間的時候就要去推測被遮擋的那一塊有多少露出來了,這個在傳統的插值中是解決不掉的問題,在IBR(圖像的繪制技術,Image Based Rending))中過去大家也花了很長時間去解決這個問題,但也并沒有一個很好的解決方案。

那現在所謂的六自由度全景視頻中,可以想象兩件事兒:

如果這個場景是一個虛擬的場景,通過計算機程序生成然后渲染出來,那么捕捉問題就不存在了,但圖像的壓縮和顯示將來是一個問題。

如果是真實世界中的場景,視頻的捕捉和縫合本身就是一個非常大的問題,尤其是全自由度全景視頻。

青亭網:如何看待全景相機的未來發展

童欣全景相機的發展應該跟傳統相機一樣,基本上還是圍繞解決三個方向:分辨率繼續攀升,擁有高動態范圍,擁有較高的幀速率。

全景相機

青亭網如何解決全景視頻中焦距太遠的問題(以VR足球直播賽事為例,它的整體視場角偏遠,會讓我產生距離球場很遠的感覺。而傳統的2D直播的攝像機則可實現焦距拉伸,看清球員細節方面。那么,在全景視頻中如何實現類似于2D視頻中的這種長焦取景呢?)

童欣技術上,有一個叫做億萬像素圖像/視頻捕捉技術會解決分辨率不夠的問題。這項技術簡單來講就是通過一個相機組合,拍攝一組億萬像素圖像或視頻。這樣的圖像/視頻從開始看的時候跟普通全景視頻差別不大,但你在觀看過程中可以一直放大,直到放大到某一球員的局部特寫依然是清晰的。

要實現這些,就要取決于你拍攝的時候分辨率要足夠高,不過現在也沒有一套很成熟的設備能夠很容易捕捉到這些內容,這也是一個在研究中的問題。

青亭網:微軟有沒有一些簡化的,三維圖形制作工具

童欣其實在HoloLens推出之后在最近幾次Windows Update上,今年春季和秋季的更新都命名為“創意者更新”,這其中就包含了三維圖像創作工具和三維圖像分享社區,幫助用戶快速創作和分享三維內容,這是微軟一直在進行的方向。

微信截圖_20171121085510

青亭網:VR內容何時才能跟上硬件發展

童欣目前4K攝像機已經非常普及,8K甚至也在路上,傳統視頻行業都在朝著更高清的方向發展,從視頻內容來看很容易跟上。

VR更像是一種新的媒體,AR是一種基于位置的服務平臺,兩個都是未來。

三維內容生成一直是圖形學中持續的課題,這個課題目前也并沒有得到很好的解決,這樣會讓大家繼續對此進行研發。硬件的發展只會讓這些變得更加迫切和突出。

青亭網:最理想的全景視頻交互方式是什么

童欣到底什么樣的交互方式是最自然或者是最直接的?

這個我在兩年之前就跟別人聊過,也在報告中提到過。這個問題還是值得大家去研究的,我自己沒有什么方案,這需要很多人機交互的專家做很多嘗試、做用戶調研,然后再選舉出最合適的方案。

青亭網:如何看待未來VR社交

童欣我覺得應該是一個很好的應用,但還是要看用戶場景,所有的VR社交里面都依賴于設備和用戶所希望得到的,就必須抵消設備的負擔,用戶永遠是最挑剔的。

VR社交

青亭網:AR成像與VR成像的區別和難點

童欣從用戶最直觀的角度來看,VR是一個全浸入式的,我們所看到的全部都是虛擬世界,正因為所看的內容全部是虛擬的,所以我們對它的分辨率和延遲有較高要求。

在AR環境中是一個半透明的顯示,這時候我們不僅需要看到顯示的虛擬圖形,也要看到真實的世界,在疊加的環境中,并不會受到延遲等影響。在顯示內容方面,也是一個很難的問題,因為我們需要大視角、需要高分辨率,所有這些東西在一個半透明的設備上顯示起來會更難。

來源:青亭網

內容 視頻 三維 技術 用戶
分享到:

1.TMT觀察網遵循行業規范,任何轉載的稿件都會明確標注作者和來源;
2.TMT觀察網的原創文章,請轉載時務必注明文章作者和"來源:TMT觀察網",不尊重原創的行為TMT觀察網或將追究責任;
3.作者投稿可能會經TMT觀察網編輯修改或補充。


觀點約架

主站蜘蛛池模板: 千斤顶,液压千斤顶-力良企业,专业的液压千斤顶制造商,shliliang.com | 大型冰雕-景区冰雕展制作公司,3D创意设计源头厂家-[赛北冰雕] | 西安微信朋友圈广告投放_微信朋友圈推广_西安度娘网络科技有限公司 | 锂电混合机-新能源混合机-正极材料混料机-高镍,三元材料混料机-负极,包覆混合机-贝尔专业混合混料搅拌机械系统设备厂家 | 山东聚盛新型材料有限公司-纳米防腐隔热彩铝板和纳米防腐隔热板以及钛锡板、PVDF氟膜板供应商 | 东亚液氮罐-液氮生物容器-乐山市东亚机电工贸有限公司 | 沈阳真空机_沈阳真空包装机_沈阳大米真空包装机-沈阳海鹞真空包装机械有限公司 | 政府园区专业委托招商平台_助力企业选址项目快速落地_东方龙商务集团 | 海外仓系统|国际货代系统|退货换标系统|WMS仓储系统|海豚云 | 北京发电车出租-发电机租赁公司-柴油发电机厂家 - 北京明旺盛安机电设备有限公司 | 冲锋衣滑雪服厂家-冲锋衣定制工厂-滑雪服加工厂-广东睿牛户外(S-GERT) | 广州冷却塔维修厂家_冷却塔修理_凉水塔风机电机填料抢修-广东康明节能空调有限公司 | SMC-ASCO-CKD气缸-FESTO-MAC电磁阀-上海天筹自动化设备官网 | 不锈钢/气体/液体玻璃转子流量计(防腐,选型,规格)-常州天晟热工仪表有限公司【官网】 | 广州/东莞小字符喷码机-热转印打码机-喷码机厂家-广州瑞润科技 | 齿轮减速机_齿轮减速电机-VEMT蜗轮蜗杆减速机马达生产厂家瓦玛特传动瑞环机电 | 气动调节阀,电动调节阀,自力式压力调节阀,切断阀「厂家」-浙江利沃夫自控阀门 | 马尔表面粗糙度仪-MAHR-T500Hommel-Mitutoyo粗糙度仪-笃挚仪器 | 瓶盖扭矩仪(扭力值检测)-百科 | 高压绝缘垫-红色配电房绝缘垫-绿色高压绝缘地毯-上海苏海电气 | 电销卡_北京电销卡_包月电话卡-豪付网络 | 石家庄网站建设|石家庄网站制作|石家庄小程序开发|石家庄微信开发|网站建设公司|网站制作公司|微信小程序开发|手机APP开发|软件开发 | 制丸机,小型中药制丸机,全自动制丸机价格-甘肃恒跃制药设备有限公司 | 防水套管_柔性防水套管_刚性防水套管-巩义市润达管道设备制造有限公司 | 右手官网|右手工业设计|外观设计公司|工业设计公司|产品创新设计|医疗产品结构设计|EMC产品结构设计 | 苏州教学设备-化工教学设备-环境工程教学模型|同科教仪 | RV减速机-蜗轮蜗杆减速机-洗车机减速机-减速机厂家-艾思捷 | 安驭邦官网-双向万能直角铣头,加工中心侧铣头,角度头[厂家直销] 闸阀_截止阀_止回阀「生产厂家」-上海卡比阀门有限公司 | 食品质构分析仪-氧化诱导分析仪-瞬态法导热系数仪|热冰百科 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 环比机械| 圣才学习网-考研考证学习平台,提供万种考研考证电子书、题库、视频课程等考试资料 | 外贸网站建设-外贸网站设计制作开发公司-外贸独立站建设【企术】 | 防水试验机_防水测试设备_防水试验装置_淋雨试验箱-广州岳信试验设备有限公司 | 山东锐智科电检测仪器有限公司_超声波测厚仪,涂层测厚仪,里氏硬度计,电火花检漏仪,地下管线探测仪 | 智能型高压核相仪-自动开口闪点测试仪-QJ41A电雷管测试仪|上海妙定 | 滁州高低温冲击试验箱厂家_安徽高低温试验箱价格|安徽希尔伯特 | 聚丙烯酰胺_阴离子_阳离子「用量少」巩义亿腾厂家直销,售后无忧 聚合甘油__盐城市飞龙油脂有限公司 | 紧急切断阀_气动切断阀_不锈钢阀门_截止阀_球阀_蝶阀_闸阀-上海上兆阀门制造有限公司 | 武汉刮刮奖_刮刮卡印刷厂_为企业提供门票印刷_武汉合格证印刷_现金劵代金券印刷制作 - 武汉泽雅印刷有限公司 | 道康宁消泡剂-瓦克-大川进口消泡剂供应商 |