混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)及其交互技術(shù)研究
發(fā)布時(shí)間:2020-12-09 12:33
魚(yú)缸和魚(yú)對(duì)人的身心健康有積極的作用。魚(yú)缸具有舒緩作用,觀(guān)察魚(yú)類(lèi)會(huì)產(chǎn)生放松效果,且會(huì)吸引人的注意力。此外,魚(yú)缸也是中國(guó)家庭常見(jiàn)的觀(guān)賞設(shè)備,構(gòu)造比較簡(jiǎn)單、成本也不高。本文研發(fā)了一種基于真實(shí)魚(yú)缸的混合現(xiàn)實(shí)(Mixed Reality,MR)系統(tǒng),將真實(shí)的魚(yú)缸環(huán)境與虛擬的水下世界有效融合,提供一個(gè)有趣的混合現(xiàn)實(shí)環(huán)境,用于開(kāi)發(fā)兒童英語(yǔ)學(xué)習(xí)、孤獨(dú)癥譜系障礙(ASD,原稱(chēng)自閉癥)兒童的認(rèn)知康復(fù)訓(xùn)練等應(yīng)用系統(tǒng)。本文研發(fā)的MR魚(yú)缸系統(tǒng),在真實(shí)魚(yú)缸后側(cè)的玻璃中間固化有液晶調(diào)光膜,用作投影幕布,投影畫(huà)面可投在上面與真實(shí)魚(yú)缸內(nèi)的場(chǎng)景融合。而在魚(yú)缸前面的玻璃上則嵌有紅外觸摸框,將魚(yú)缸表面變身為觸控交互面板。在MR魚(yú)缸系統(tǒng)的實(shí)際應(yīng)用中,如ASD兒童的認(rèn)知康復(fù)訓(xùn)練的實(shí)際應(yīng)用中,我們發(fā)現(xiàn),由于玻璃和水的折射影響,投影在液晶調(diào)光膜的內(nèi)容在到達(dá)人眼時(shí)會(huì)產(chǎn)生位置的“漂移”,導(dǎo)致不同用戶(hù)在魚(yú)缸前的不同位置進(jìn)行觸控交互時(shí),存在“所觸非所見(jiàn)”的現(xiàn)象,即產(chǎn)生觸控交互不準(zhǔn)的問(wèn)題。此外,魚(yú)缸內(nèi)真實(shí)魚(yú)類(lèi)的來(lái)回游動(dòng),對(duì)虛擬場(chǎng)景造成一定的遮擋,使用戶(hù)無(wú)法有效地獲取虛擬場(chǎng)景信息。為此,本文研究了混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)及其交互技術(shù)。歸納的,本文的主要...
【文章來(lái)源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:83 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1-1?MR魚(yú)缸的應(yīng)用??
?山東大學(xué)碩士學(xué)位論文???第2章基礎(chǔ)知識(shí)??2.1光的折射??光線(xiàn)從一種介質(zhì)斜射入另一種介質(zhì)時(shí),由于光線(xiàn)在兩種不同的物質(zhì)中,其傳播??速度是不同的,所以在不同介質(zhì)的交界處,光線(xiàn)的傳播方向會(huì)發(fā)生改變,從而發(fā)??生偏折,產(chǎn)生折射現(xiàn)象,如圖2-1左圖。在折射現(xiàn)象中,光路是可逆的。??T??圖2-1光的折射現(xiàn)象(左)以及斯涅爾定律(右)圖示??在計(jì)算機(jī)圖形學(xué)中,我們利用斯涅爾定律(Snell’s?Law)表示光的折射現(xiàn)象。??斯涅爾定律是描述光或其他的波,在發(fā)生折射時(shí),入射角與折射角關(guān)系的一個(gè)公??式。斯涅爾定律的公式表示為:》isin0i?=?msin沒(méi)2,其中11丨,n2分別是發(fā)生折射前??后兩種介質(zhì)對(duì)應(yīng)的折射率,01和02則是入射角和折射角,如圖2-1右圖。在一般情??況下,真空(或空氣)的折射率默認(rèn)為1,其他介質(zhì)的折射率則比真空都要大,??也就是n>l。常見(jiàn)的介質(zhì),比如水的折射率是1.33,一般的玻璃的折射率是1.5。??2.2?Kinect基礎(chǔ)知識(shí)??Kinect是微軟推出的一款體感攝像頭外設(shè),包括彩色攝像頭、深度傳感器(可??用于面部表情和動(dòng)作識(shí)別),以及多點(diǎn)陣列麥克風(fēng)(可用于語(yǔ)音識(shí)別),可以識(shí)??別玩家的動(dòng)作及語(yǔ)音,進(jìn)行體感類(lèi)游戲及語(yǔ)音識(shí)別等等。??9??
?山東大學(xué)碩士學(xué)位論文???2.2.1?Kinect?坐標(biāo)系??Kinect有三個(gè)坐標(biāo)2間:相機(jī)空間(Camera?Space)、深度空間(Depth?Space)??以及彩色空間(Color?Space)。??1??相機(jī)空間(Camera?Space)??相機(jī)空間坐標(biāo)系指的是,以Kinect紅外相機(jī)中心為原點(diǎn)的3D空間坐標(biāo)系,如??圖2-2。相機(jī)空間的坐標(biāo)系是跟現(xiàn)實(shí)世界一致的坐標(biāo)系統(tǒng),其坐標(biāo)單位是米(m),??可用于人體骨骼追蹤、三維重建等等。???}y??????,??■/z??圖2-2?Kinect相機(jī)空間坐標(biāo)系??2.深度圖像空間(Depth?Space)??深度圖像空間用來(lái)描述深度圖像的信息。x代表列,y代表行,(x,y)表示??深度圖像上某一列某一行,對(duì)應(yīng)的一個(gè)像素坐標(biāo)。z表現(xiàn)為深度圖像上的灰度,是??深度相機(jī)測(cè)得的深度或者說(shuō)距離,是物體到紅外相機(jī)光心的距離,也就是物體到??相機(jī)空間坐標(biāo)系XOY平面的距離,所以物體在深度空間的z值,與相機(jī)空間中的??z值一致。在某些情況下,需要z值才能將深度圖像空間映射到其他空間。??3.彩色圖像空間(ColorSpace)??彩色圖像空間用來(lái)描述彩色圖像的信息,類(lèi)似深度圖像空間。x代表列,y代??表行,(X,y)表示彩色圖像上某一列某一行,對(duì)應(yīng)的一個(gè)像素坐標(biāo)。彩色相機(jī)??和紅外相機(jī)并不在Kinect的同一位置,所以二者觀(guān)察的視角并不相同,此外彩色??圖像和深度圖像的分辨率也是不同的,所以?xún)蓚(gè)圖像直接不能按照像素直接進(jìn)行??對(duì)應(yīng)。??對(duì)于Kinect不同空間的坐標(biāo),Kinect?SDK提供了一些方法來(lái)方便開(kāi)發(fā)者進(jìn)行??坐標(biāo)轉(zhuǎn)換,這些方法位于Kin
【參考文獻(xiàn)】:
期刊論文
[1]基于3D計(jì)算機(jī)視覺(jué)的魚(yú)類(lèi)行為分析研究[J]. 湯一平,劉森森,石興民,鐘羽云. 高技術(shù)通訊. 2015 (03)
[2]基于單攝像機(jī)視頻的魚(yú)類(lèi)三維自動(dòng)跟蹤方法初探[J]. 徐盼麟,韓軍,童劍鋒. 水產(chǎn)學(xué)報(bào). 2012(04)
[3]三維坐標(biāo)轉(zhuǎn)換的非線(xiàn)性模型[J]. 曾文憲,陶本藻. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2003(05)
本文編號(hào):2906868
【文章來(lái)源】:山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:83 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1-1?MR魚(yú)缸的應(yīng)用??
?山東大學(xué)碩士學(xué)位論文???第2章基礎(chǔ)知識(shí)??2.1光的折射??光線(xiàn)從一種介質(zhì)斜射入另一種介質(zhì)時(shí),由于光線(xiàn)在兩種不同的物質(zhì)中,其傳播??速度是不同的,所以在不同介質(zhì)的交界處,光線(xiàn)的傳播方向會(huì)發(fā)生改變,從而發(fā)??生偏折,產(chǎn)生折射現(xiàn)象,如圖2-1左圖。在折射現(xiàn)象中,光路是可逆的。??T??圖2-1光的折射現(xiàn)象(左)以及斯涅爾定律(右)圖示??在計(jì)算機(jī)圖形學(xué)中,我們利用斯涅爾定律(Snell’s?Law)表示光的折射現(xiàn)象。??斯涅爾定律是描述光或其他的波,在發(fā)生折射時(shí),入射角與折射角關(guān)系的一個(gè)公??式。斯涅爾定律的公式表示為:》isin0i?=?msin沒(méi)2,其中11丨,n2分別是發(fā)生折射前??后兩種介質(zhì)對(duì)應(yīng)的折射率,01和02則是入射角和折射角,如圖2-1右圖。在一般情??況下,真空(或空氣)的折射率默認(rèn)為1,其他介質(zhì)的折射率則比真空都要大,??也就是n>l。常見(jiàn)的介質(zhì),比如水的折射率是1.33,一般的玻璃的折射率是1.5。??2.2?Kinect基礎(chǔ)知識(shí)??Kinect是微軟推出的一款體感攝像頭外設(shè),包括彩色攝像頭、深度傳感器(可??用于面部表情和動(dòng)作識(shí)別),以及多點(diǎn)陣列麥克風(fēng)(可用于語(yǔ)音識(shí)別),可以識(shí)??別玩家的動(dòng)作及語(yǔ)音,進(jìn)行體感類(lèi)游戲及語(yǔ)音識(shí)別等等。??9??
?山東大學(xué)碩士學(xué)位論文???2.2.1?Kinect?坐標(biāo)系??Kinect有三個(gè)坐標(biāo)2間:相機(jī)空間(Camera?Space)、深度空間(Depth?Space)??以及彩色空間(Color?Space)。??1??相機(jī)空間(Camera?Space)??相機(jī)空間坐標(biāo)系指的是,以Kinect紅外相機(jī)中心為原點(diǎn)的3D空間坐標(biāo)系,如??圖2-2。相機(jī)空間的坐標(biāo)系是跟現(xiàn)實(shí)世界一致的坐標(biāo)系統(tǒng),其坐標(biāo)單位是米(m),??可用于人體骨骼追蹤、三維重建等等。???}y??????,??■/z??圖2-2?Kinect相機(jī)空間坐標(biāo)系??2.深度圖像空間(Depth?Space)??深度圖像空間用來(lái)描述深度圖像的信息。x代表列,y代表行,(x,y)表示??深度圖像上某一列某一行,對(duì)應(yīng)的一個(gè)像素坐標(biāo)。z表現(xiàn)為深度圖像上的灰度,是??深度相機(jī)測(cè)得的深度或者說(shuō)距離,是物體到紅外相機(jī)光心的距離,也就是物體到??相機(jī)空間坐標(biāo)系XOY平面的距離,所以物體在深度空間的z值,與相機(jī)空間中的??z值一致。在某些情況下,需要z值才能將深度圖像空間映射到其他空間。??3.彩色圖像空間(ColorSpace)??彩色圖像空間用來(lái)描述彩色圖像的信息,類(lèi)似深度圖像空間。x代表列,y代??表行,(X,y)表示彩色圖像上某一列某一行,對(duì)應(yīng)的一個(gè)像素坐標(biāo)。彩色相機(jī)??和紅外相機(jī)并不在Kinect的同一位置,所以二者觀(guān)察的視角并不相同,此外彩色??圖像和深度圖像的分辨率也是不同的,所以?xún)蓚(gè)圖像直接不能按照像素直接進(jìn)行??對(duì)應(yīng)。??對(duì)于Kinect不同空間的坐標(biāo),Kinect?SDK提供了一些方法來(lái)方便開(kāi)發(fā)者進(jìn)行??坐標(biāo)轉(zhuǎn)換,這些方法位于Kin
【參考文獻(xiàn)】:
期刊論文
[1]基于3D計(jì)算機(jī)視覺(jué)的魚(yú)類(lèi)行為分析研究[J]. 湯一平,劉森森,石興民,鐘羽云. 高技術(shù)通訊. 2015 (03)
[2]基于單攝像機(jī)視頻的魚(yú)類(lèi)三維自動(dòng)跟蹤方法初探[J]. 徐盼麟,韓軍,童劍鋒. 水產(chǎn)學(xué)報(bào). 2012(04)
[3]三維坐標(biāo)轉(zhuǎn)換的非線(xiàn)性模型[J]. 曾文憲,陶本藻. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2003(05)
本文編號(hào):2906868
本文鏈接:http://www.lk138.cn/shoufeilunwen/zaizhiyanjiusheng/2906868.html
最近更新
教材專(zhuān)著