學校名稱:中原大學

指導教授:廖裕評

學生:夏英杰、黃丰楷、鄭翔

隨著科技的進步,智慧音箱越來越受歡迎,很多家庭都擁有一台智慧音箱,而智慧音箱大多是受語音控制的,這樣對於瘖啞人士以及不方便說話的場合來說十分的不方便。為了解決此問題,本作品利用手勢辨識進行智慧音箱的控制,而手勢辨識若是透過攝像頭來進行的話會衍生出一些隱私問題。因此本作品之手勢辨識係利用毫米波雷達來進行偵測,在週期性的連續手勢中偵測人體的點雲分布,利用DBScan、K-means、AHC等分群演算法進行手部與身體分離,再將點雲進行時間上跟空間上的特徵提取。經過以上的資料預處理後,分別將時間上和空間上的特徵搭配不同的深度學習模型進行手勢的訓練及預測,進而進行音樂的播放、暫停、上/下一首、音量變大/小等功能。除此之外,本作品利用Respeaker陣列型麥克風搭配Arduino板的馬達控制來進行聲源辨位,使用者首先對著音箱拍手,音箱會以3秒為單位記錄一段濾波後的音訊檔進行辨別,在辨識為拍手聲後音箱會自動轉向使用者所在之方位以利使用者進行手勢操作。當然,本作品也擁有一般的智慧音箱功能,像是詢問時間以及天氣,且透過YouTube API就能夠向YouTube請求音樂資料,再經由VLC來播放音樂。