公告號	I730721 公開202139152
公告日	2021/06/11
公報卷期	48-17
證書號	I730721
申請號	109112456 E
申請日	2020/04/14
公報IPC	G09B 5/06(2006.01); G06F 3/01(2006.01); G09B 5/08(2006.01); G09B 9/00(2006.01)
當前IPC	G09B 5/06(2006.01); G06F 3/01(2006.01); G09B 5/08(2006.01); G09B 9/00(2006.01)
申請人	國立臺北教育大學 臺北市大安區和平東路二段134號 (中華民國); NATIONAL TAIPEI UNIVERSITY OF EDUCATION NO.134, SEC. 2, HEPING E. RD.,DA'AN DIST., TAIPEI CITY 10671,TAIWAN (R.O.C.) (TW)
當前專利權人	國立臺北教育大學; NATIONAL TAIPEI UNIVERSITY OF EDUCATION
發明人	盧玉玲 (中華民國); LU, YU-LING (TW); 李倩如 (中華民國); LI, CHIEN-JU (TW); 羅文岑 (中華民國); LUO, WEN-TSEN (TW)
代理人	高玉駿; 楊祺雄
審查委員	廖天佑
摘要	一種利用混合實境的教學系統包含一穿戴式裝置、一儲存單元、及一處理單元。該儲存單元對應一教學標的物且分別對應多個組件的多個虛擬影像。該處理單元接收來自一影像擷取單元的一真實影像，且根據一個六軸感應器所偵測的該使用者的空間位置，將該教學標的物在組裝前的該等虛擬影像與該真實影像結合而成為一混合實境影像，並顯示於一顯示單元。該使用者藉由一手部移動每一該虛擬影像，且該處理單元藉由該混合實境影像判斷該教學標的物是被正確組裝時，藉由該顯示單元在該混合實境影像中顯示組裝後且對應的該等組件的該等虛擬影像。

引用專利	CN110757471A E; CN110786819A E; CN110870970A E; CN209221474U E; JP6384131B2 E; TW201642935A; TWM588569; US10607081B2 E; US2020/0105041A1 E

專利範圍

1.一種教學系統，適用於一使用者，並包含：一穿戴式裝置，適用於該使用者配戴，並包括一影像擷取單元，擷取對應該使用者所觀看的一真實影像，一個六軸感應器，偵測該使用者的一空間位置，及一顯示單元，將一混合實境影像顯示給該使用者觀看；一儲存單元，儲存對應一教學標的物且分別對應多個組件的多個虛擬影像，該教學標的物包含該等組件；及一處理單元，電連接該儲存單元及該穿戴式裝置，並接收來自該影像擷取單元的該真實影像，且根據該六軸感應器所偵測的該使用者的該空間位置，將該教學標的物在組裝前的該等組件的該等虛擬影像與該真實影像結合而成為該混合實境影像，並顯示於該顯示單元，該使用者藉由一手部移動該等組件的該等虛擬影像之其中每一者，且該處理單元藉由該混合實境影像判斷該教學標的物的該等組件是被正確組裝時，藉由該顯示單元在該混合實境影像中顯示組裝後且對應的該等組件的該等虛擬影像，其中，該儲存單元還儲存對應該教學標的物的一組裝順序，該組裝順序包含該等組件被組裝時的順序，該處理單元根據該真實影像中該使用者的該手部及該使用者的該空間位置，判斷該等組件的該等虛擬影像在該混合實境影像中的多個相對位置，該處理單元根據該組裝順序及該等組件的該等虛擬影像的該等相對位置，判斷該教學標的物的該等組件是否被正確組裝，該儲存單元還儲存對應該教學標的物的至少一演示效果，當該顯示單元在該混合實境影像中顯示組裝後且對應該教學標的物的該等虛擬影像時，該處理單元還控制該顯示單元顯示至少一可操作物件，使得該使用者能夠藉由該手部操作該至少一可操作物件，進而使得該處理單元控制該顯示單元在該混合實境影像中顯示對應的該至少一演示效果。 2.如請求項1所述的教學系統，其中，該教學標的物是一風力發電機，該等組件的該等虛擬影像分別對應一殼體、多個不同尺寸的風扇葉片、多個齒輪、多個轉軸、及一線圈裝置。 3.如請求項2所述的教學系統，其中，該至少一可操作物件包含在該混合實境影像中顯示的一控制面板，該控制面板包含多個葉片大小的調整鈕、多個風力大小的調整鈕、一觀看效果按鈕、及一重新組裝按鈕，該至少一演示效果包含選擇對應該葉片大小的該風扇葉片的該虛擬影像、選擇對應該風力大小的一風扇葉片轉速、及該等組件回復組裝前的狀態。 4.如請求項3所述的教學系統，其中，該至少一可操作物件還包含在該混合實境影像中顯示的一數據表格，當該控制面板的該觀看效果按鈕被觸發時，該數據表格顯示對應的該風力發電機所安裝的該風扇葉片的一風扇片數與一尺寸大小、該等齒輪的每一齒數、該等轉軸的每一尺寸、及該風力發電機所對應產生的每一發電電壓。 5.如請求項1所述的教學系統，其中，該教學標的物是一眼睛，該等組件的該等虛擬影像分別對應一眼球、一角膜、一虹膜、及一水晶體。 6.如請求項5所述的教學系統，其中，該至少一可操作物件包含在該混合實境影像中顯示的一調整鈕，該調整紐用於改變該水晶體的該虛擬影像的厚度，該至少一演示效果包含模擬該眼睛所看到的多個虛擬視界，當該調整鈕改變該水晶體的厚度時，該顯示單元在該混合實境影像中顯示對應的其中一個該虛擬視界，該等虛擬視界包括分別對應近視、遠視、及正常視力的多個虛擬影像。

詳細說明

【技術領域】 【0001】 本發明是有關於一種教學系統，特別是指一種利用混合實境(Mixed Reality，MR)技術的教學系統。 【先前技術】 【0002】 對於學習新事物的學生來說，最直覺且最具互動性的學習方式莫過於實際操作每一個要學習的標的物，例如在學校生物課程的青蛙解剖實作、各種物理或化學實驗等等。然而，受限於空間、時間、費用、安全等等的限制，現實中有太多的事務並無法提供學習者這種深刻的操作體驗。舉例來說，隨著環保意識的抬頭與政府扶植再生能源的相關政策，使得再生能源的相關產業也逐漸蓬勃發展。其中，風力發電設施也正緊鑼密鼓地籌設中。然而，在學校的有限資源中，如何提供學生一種更直覺的教學系統，以提升學生探究風力發電相關知識與實作風力發電相關設備的能力，而能夠更進一步地作為進入相關產業的職業訓練與準備。因此，如何提供一種互動性更佳的教學系統便成為一個待解決的問題。 【發明內容】 【0003】 因此，本發明的目的，即在提供一種利用混合實境技術的教學系統。 【0004】 於是，根據本發明提供一種利用混合實境的教學系統，適用於一使用者，並包含一穿戴式裝置、一儲存單元、及一處理單元。該穿戴式裝置適用於該使用者配戴，並包括一影像擷取單元、一個六軸感應器、及一顯示單元。 【0005】 該影像擷取單元擷取對應該使用者所觀看的一真實影像。該六軸感應器偵測該使用者的空間位置。該顯示單元將一混合實境影像顯示給該使用者觀看。該儲存單元儲存對應一教學標的物且分別對應多個組件的多個虛擬影像，該教學標的物包含該等組件。 【0006】 該處理單元電連接該儲存單元及該穿戴式裝置，並接收來自該影像擷取單元的該真實影像，且根據該六軸感應器所偵測的該使用者的該空間位置，將該教學標的物在組裝前的該等組件的該等虛擬影像與該真實影像結合而成為該混合實境影像，並顯示於該顯示單元。該使用者藉由一手部移動該等組件的該等虛擬影像之其中每一者，且該處理單元藉由該混合實境影像判斷該教學標的物的該等組件是被正確組裝時，藉由該顯示單元在該混合實境影像中顯示組裝後且對應的該等組件的該等虛擬影像。 【0007】 在一些實施態樣中，其中，該儲存單元還儲存對應該教學標的物的一組裝順序，該組裝順序包含該等組件被組裝時的順序。該處理單元根據該真實影像中該使用者的該手部及該使用者的該空間位置，判斷該等組件的該等虛擬影像在該混合實境影像中的多個相對位置。該處理單元根據該組裝順序及該等組件的該等虛擬影像的該等相對位置，判斷該教學標的物的該等組件是否被正確組裝。 【0008】 在一些實施態樣中，其中，該儲存單元還儲存對應該教學標的物的至少一演示效果。當該顯示單元在該混合實境影像中顯示組裝後且對應該教學標的物的該等虛擬影像時，該處理單元還控制該顯示單元顯示至少一可操作物件，使得該使用者能夠藉由該手部操作該至少一可操作物件，進而使得該處理單元控制該顯示單元在該混合實境影像中顯示對應的該至少一演示效果。 【0009】 在一些實施態樣中，其中，該教學標的物是一風力發電機，該等組件的該等虛擬影像分別對應一殼體、多個不同尺寸的風扇葉片、多個齒輪、多個轉軸、及一線圈裝置。 【0010】 在一些實施態樣中，其中，該至少一可操作物件包含在該混合實境影像中顯示的一控制面板，該控制面板包含多個葉片大小的調整鈕、多個風力大小的調整鈕、一觀看效果按鈕、及一重新組裝按鈕。該至少一演示效果包含選擇對應該葉片大小的該風扇葉片的該虛擬影像、選擇對應該風力大小的一風扇葉片轉速、及該等組件回復組裝前的狀態。 【0011】 在一些實施態樣中，其中，該至少一可操作物件還包含在該混合實境影像中顯示的一數據表格。當該控制面板的該觀看效果按鈕被觸發時，該數據表格顯示對應的該風力發電機所安裝的該風扇葉片的一風扇片數與一尺寸大小、該等齒輪的每一齒數、該等轉軸的每一尺寸、及該風力發電機所對應產生的每一發電電壓。 【0012】 在另一些實施態樣中，其中，該教學標的物是一眼睛，該等組件的該等虛擬影像分別對應一眼球、一角膜、一虹膜、及一水晶體。 【0013】 在一些實施態樣中，其中，該至少一可操作物件包含在該混合實境影像中顯示的一調整鈕，該調整紐用於改變該水晶體的該虛擬影像的厚度。該至少一演示效果包含模擬該眼睛所看到的多個虛擬視界，當該調整鈕改變該水晶體的厚度時，該顯示單元在該混合實境影像中顯示對應的其中一個該虛擬視界，該等虛擬視界包括分別對應近視、遠視、及正常視力的多個虛擬影像。 【0014】 本發明的功效在於：藉由該儲存單元預先儲存的該教學標的物的該等組件的該等虛擬影像，再藉由該處理單元根據該穿戴式裝置判斷該使用者的該空間位置，如動作與姿態，進而判斷該教學標的物的該等組件是否被正確地組裝，並藉由該顯示單元顯示對應的該混合實境影像。如此一來，該使用者(如學生)即能藉由該教學系統實際地操作與體驗如何設計與安裝該教學標的物，如風力發電機或眼睛，進而提升學生探究關於該教學標的物的相關知識與實作能力。 【實施方式】 【0015】 在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。 【0016】 參閱圖1，本發明利用混合實境的教學系統之一實施例，適用於一使用者，並包含一穿戴式裝置1、一儲存單元3、及一處理單元2。該穿戴式裝置1適用於該使用者配戴，並包括一影像擷取單元11、一個六軸感應器13、及一顯示單元12。 【0017】 該穿戴式裝置1例如是一種類似頭盔或眼鏡的裝置。該影像擷取單元11擷取對應該使用者所觀看的一真實影像，即擷取該使用者在正常視野下所觀察到的該真實影像。該六軸感應器13偵測該使用者的一空間位置，例如包括一個三軸陀螺儀及一個三軸加速器，以在該使用者配戴該穿戴式裝置1時，偵測該六軸感測器(即該穿戴式裝置1或該使用者)的空間運動、移動軌跡、及加速度等等的資訊。該顯示單元12接收一混合實境(Mixed Reality，MR)影像並將該混合實境影像顯示給該使用者觀看。舉例來說，該顯示單元12不屬於一種穿透式顯示器時，則該顯示單元12顯示該混合實境影像。反之，該顯示單元12屬於一種穿透式顯示器時，則該顯示單元12顯示虛擬影像，使得該使用者將該真實影像與該虛擬影像重疊而成該混合實境影像。 【0018】 該儲存單元3儲存對應一教學標的物且分別對應多個組件的多個虛擬影像，及一組裝順序。該教學標的物包含該等組件，該組裝順序包含該等組件被組裝時的順序。舉例來說，在本實施例中，該教學標的物是一風力發電機，該等組件的該等虛擬影像分別對應一殼體、多個不同尺寸的風扇葉片、多個齒輪、多個轉軸、及一線圈裝置。則該組裝順序是該風力發電機的該等組件被組裝時的順序。 【0019】 該處理單元2電連接該儲存單元3及該穿戴式裝置1，並接收來自該影像擷取單元11的該真實影像，且根據該六軸感應器13所偵測的該使用者的該空間位置，將該教學標的物(即該風力發電機)在組裝前的該等組件的該等虛擬影像與該真實影像結合而成為該混合實境影像，並顯示於該顯示單元12。舉例來說，該殼體的該虛擬影像設置於一個預定位置，該等風扇葉片、該等齒輪、該等轉軸、及該線圈裝置的該等虛擬影像被放置在對應一置物架的一虛擬影像上。 【0020】 該使用者藉由一手部接觸並移動該等組件的該等虛擬影像之其中每一者，且該處理單元2藉由該混合實境影像判斷該教學標的物(即該風力發電機)的該等組件是被正確組裝時，藉由該顯示單元12在該混合實境影像中顯示組裝後且對應的該等組件的該等虛擬影像。 【0021】 更詳細地說，該處理單元2根據該真實影像中該使用者的該手部的一空間位置及該使用者的該空間位置，判斷該手部所接觸並被判斷為已拿取的該組件的該虛擬影像在該混合實境影像中的一相對位置。該處理單元2根據該組裝順序及已拿取的該組件的該虛擬影像與其它組裝中的該風力發電機的其他該等組件的該等虛擬影像的該等相對位置，判斷該風力發電機的該組件是否被正確組裝上去。舉例來說，其中一個該組件的該虛擬影像被判斷為已拿取，並追蹤該手部是否將該組件移動至正確的安裝位置，當判斷有被移動至正確的安裝位置時，該處理單元2判斷該組件已被正確安裝，並藉由該顯示單元12顯示該組件的該虛擬影像被組裝上去。 【0022】 參閱圖1、圖2、與圖3，圖2示例性地繪出該風力發電機的該殼體的一剖面示意圖，圖3示例性地繪出該風力發電機的該等組件在組裝完成後的態樣。要特別提醒的是：圖2與圖3是為方便說明起見，僅以剖面示意圖的形式來說明該風力發電機的該等組件在組裝正確時的相對位置關係，而在本實施例中，該使用者所實際看見的該混合實境影像所包含的該等組件的該等虛擬影像是3D形式的物件。 【0023】 在本實施例中，組裝完成的該風力發電機包含該殼體51、該等風扇葉片的一第一風扇葉片52、該等齒論的一第一齒輪551與一第二齒輪552(即一齒輪組55)、該等轉軸的一第一轉軸53與一第二轉軸54、及該線圈裝置56。該組裝順序例如是該殼體51、該第一轉軸53、該第二轉軸54、該第一齒輪551、該第二齒輪552、該第一風扇葉片52、及該線圈裝置56。則該使用者藉由該手部在組裝該風力發電機時，必須要依照該組裝順序拿取該等組件，並依序放置到該殼體51中正確的相對位置，才能將該等組件依序且正確地組裝上該殼體51，而至完成該風力發電機的組裝。 【0024】 另外要特別補充說明的是：前述的該組裝順序為方便說明起見僅以一種順序表示，而在其他的實施例中，該組裝順序也可以考慮該等組件在實際安裝時的多種可能順序，而能夠具有多種正確安裝的順序，例如該第一轉軸53及該第二轉軸54的安裝順序可以對調等等。再者，該處理單元2及該儲存單元3可以設置在該穿戴式裝置1中，或者，該處理單元2及該儲存單元3也可以設置在該穿戴式裝置1外，例如設置在一電腦主機中，而與該穿戴式裝置1建立連線而傳收資訊。 【0025】 該儲存單元3還儲存對應該教學標的物的至少一演示效果。當該顯示單元12在該混合實境影像中顯示組裝後且對應該教學標的物的該等虛擬影像時，該處理單元2還控制該顯示單元12顯示至少一可操作物件，使得該使用者能夠藉由該手部操作該至少一可操作物件，進而使得該處理單元2控制該顯示單元12在該混合實境影像中顯示對應的該至少一演示效果。 【0026】 在本實施例中，該至少一可操作物件包含在該混合實境影像中顯示的一控制面板，該處理單元2還藉由該顯示單元12在該混合實境影像中顯示該控制面板。該控制面板包含多個葉片大小的調整鈕、多個風力大小的調整鈕、一觀看效果按鈕、及一重新組裝按鈕。則該至少一演示效果包含選擇對應該葉片大小的該風扇葉片的該虛擬影像、選擇對應該風力大小的一風扇葉片轉速、及該等組件回復組裝前的狀態。 【0027】 舉例來說，在該風力發電機被正確組裝而完成後，該使用者藉由該手部接觸並操作該控制面板，以在該混合實境影像中觀看對應的效果。例如按下對應不同葉片大小的調整鈕時，該風力發電機的該風扇葉片的尺寸作立即的對應更換；按下對應不同風力大小的按鈕時，該風扇葉片的轉速快慢產生對應的變化；按下該重新組裝按鈕時，該風力發電機的該等組件(除了該殼體51)被放置回該置物架。 【0028】 該至少一可操作物件例如還包含在該混合實境影像中顯示的一數據表格。該處理單元2還藉由該顯示單元12在該混合實境影像中顯示該數據表格。當該控制面板的該觀看效果按鈕被觸發(即按下)時，該數據表格顯示對應的該風力發電機所安裝的該風扇葉片的一風扇片數與一尺寸大小、該等齒輪的每一齒數、該等轉軸的每一尺寸、及該風力發電機所對應產生的每一發電電壓。舉例來說，該風扇片數為4、該葉片大小為中、該齒數為20齒、該轉軸粗細為粗轉軸、該發電電壓為0.31伏特，但不以此為限。 【0029】 再參閱圖4，另外要補充說明的是：在本實施例中，該教學標的物是該風力發電機，而在其他的實施例中，該教學標的物也可以例如是一眼睛，該等組件的該等虛擬影像分別對應一眼球61、一角膜62、一虹膜63、一水晶體64、及該眼球61的週遭組織65，但都不以此為限。則該至少一可操作物件例如是在該混合實境影像中顯示的一調整鈕，該調整紐用於改變該水晶體64的該虛擬影像的厚度。該至少一演示效果包含模擬該眼睛所看到的多個虛擬視界，當該調整鈕改變該水晶體64的厚度時，該顯示單元12在該混合實境影像中顯示對應的其中一個該虛擬視界，該等虛擬視界包括分別對應近視、遠視、及正常視力的多個虛擬影像。 【0030】 綜上所述，藉由該儲存單元3預先儲存的該教學標的物的該等組件的該等虛擬影像及該組裝順序，再藉由該處理單元2根據該穿戴式裝置1判斷該使用者與其手部的該空間位置，進而判斷該教學標的物的該等組件是否被正確地組裝，且藉由該顯示單元12顯示對應的該混合實境影像。此外，該使用者還能藉由該顯示單元12在該混合實境影像中的該至少一可操作物件(如該控制面板及該數據表格)，實際體驗不同組件與變化所造成的現像，如不同發電電壓的效果。因此，藉由該教學系統不但能夠讓該使用者(即學生)實際地操作與體驗如何設計與安裝該教學標的物，還能進一步提升學生探究關於該教學標的物的相關知識與實作能力，故確實能達成本發明的目的。 【0031】 惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。 【圖式簡單說明】 【0032】 本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，說明本發明利用混合實境的教學系統的一實施例； 圖2是一剖面示意圖，說明該實施例的一風力發電機在組裝前的一殼體； 圖3是一剖面示意圖，說明該實施例的該風力發電機在組裝完成後的態樣；及 圖4是一示意圖，說明該實施例的一眼睛在組裝完成前的態樣。

符號說明	1:穿戴式裝置 11:影像擷取單元 12:顯示單元 13:六軸感應器 2:處理單元 3:儲存單元 51:殼體 52:風扇葉片 53:第一轉軸 54:第二轉軸 55:齒輪組 551:第一齒輪 552:第二齒輪 56:線圈裝置 61:眼球 62:角膜 63:虹膜 64:水晶體 65:週遭組織