Echo Wrist แทร็กมือด้วยคลื่นเสียง และใช้ AI เพื่อติดตามมือสำหรับ VR และอื่น

โดย Patricia Waldron มหาวิทยาลัยคอร์เนล

EchoWrist ได้รับการพัฒนาโดยนักวิจัยจาก Cornell Ann S. Bowers College of Computing and Information Science เครดิต: มหาวิทยาลัยคอร์เนล นักวิจัยของ Cornell ได้พัฒนาอุปกรณ์สายรัดข้อมือที่ตรวจจับตำแหน่งของมืออย่างต่อเนื่อง รวมถึงวัตถุที่มือโต้ตอบด้วย โดยใช้คลื่นเสียงที่ไม่ได้ยินซึ่งขับเคลื่อนโดย AI

แอปพลิเคชันที่เป็นไปได้ ได้แก่ การติดตามตำแหน่งมือสำหรับระบบความเป็นจริงเสมือน (VR) การควบคุมสมาร์ทโฟนและอุปกรณ์อื่น ๆ ด้วยท่าทางมือและการทำความเข้าใจกิจกรรมของผู้ใช้ ตัวอย่างเช่น แอพทำอาหารสามารถบรรยายสูตรอาหารในขณะที่ผู้ใช้สับ ตวง และคน เทคโนโลยีนี้มีขนาดเล็กพอที่จะติดตั้งบนสมาร์ทวอทช์เชิงพาณิชย์ได้ และใช้งานได้ตลอดทั้งวันโดยใช้แบตเตอรี่สมาร์ทวอทช์มาตรฐาน

EchoWrist เป็นหนึ่งใน เทคโนโลยีการติดตามท่าทางของร่างกาย ที่ใช้พลังงานต่ำ ใหม่ล่าสุด จากห้องปฏิบัติการ Smart Computer Interfaces for Future Interactions (SciFi) Cheng Zhang ผู้ช่วยศาสตราจารย์ด้านวิทยาการสารสนเทศที่ Cornell Ann S. Bowers College of Computing and Information Science เป็นผู้กำกับห้องปฏิบัติการ

“มือมีความสำคัญโดยพื้นฐาน สิ่งที่คุณทำมักจะเกี่ยวข้องกับมือเสมอ” จางกล่าว “อุปกรณ์นี้นำเสนอโซลูชันที่สามารถติดตามท่าทางมือของคุณอย่างต่อเนื่องในราคาถูกและแม่นยำมากด้วย”

Chi-Jung Lee และ Ruidong Zhang ซึ่งเป็นนักศึกษาปริญญาเอกในสาขาวิทยาการสารสนเทศและเป็นผู้เขียนร่วม จะนำเสนอการศึกษาในหัวข้อ “EchoWrist: การติดตามท่าทางมืออย่างต่อเนื่องและการจดจำปฏิสัมพันธ์ระหว่างมือกับวัตถุโดยใช้การตรวจจับเสียงแบบแอคทีฟที่ใช้พลังงานต่ำ สายรัดข้อมือ” ที่การประชุม Association of Computing Machinery CHI on Human Factors in Computing Systems (CHI’24) ระหว่างวันที่ 11-16 พฤษภาคม

ผลงานนี้เผยแพร่บนเซิร์ฟเวอร์การพิมพ์ล่วงหน้าของ arXiv

EchoWrist ยังช่วยให้ผู้ใช้ควบคุมอุปกรณ์ด้วยท่าทางและนำเสนอผลงานได้

“เราสามารถปรับปรุงการโต้ตอบกับสมาร์ทวอทช์หรือแม้แต่อุปกรณ์อื่นๆ ได้ด้วยการอนุญาตให้มีปฏิสัมพันธ์ด้วยมือเดียว นอกจากนี้เรายังสามารถควบคุมสมาร์ทโฟนของเราจากระยะไกลได้อีกด้วย” Lee กล่าว “ฉันสามารถใช้ท่าทางมือเดียวเพื่อควบคุมสไลด์ของฉันได้”

นี่เป็นครั้งแรกที่ห้องปฏิบัติการได้ขยายเทคโนโลยีออกไปนอกร่างกาย จางรุ่ยตงกล่าว “EchoWrist ไม่เพียงแต่ติดตามมือเท่านั้น แต่ยังติดตามวัตถุและสภาพแวดล้อมโดยรอบด้วย”

อุปกรณ์นี้ใช้ลำโพงเล็กๆ สองตัวที่ติดตั้งอยู่ด้านบนและด้านล่างของสายรัดข้อมือเพื่อสะท้อนเสียงที่ไม่ได้ยินออกจากมือและวัตถุใดๆ ที่ถือ ไมโครโฟนสองตัวที่อยู่ใกล้เคียงจะจับเสียงสะท้อนซึ่งไมโครคอนโทรลเลอร์จะตีความ แบตเตอรี่ที่มีขนาดเล็กกว่าหนึ่งในสี่จ่ายไฟให้กับอุปกรณ์

ทีมงานได้พัฒนาแบบจำลองปัญญาประดิษฐ์ประเภทหนึ่งที่ได้รับแรงบันดาลใจจากเซลล์ประสาทในสมอง เรียกว่าโครงข่ายประสาทเทียม เพื่อตีความท่าทางมือของผู้ใช้ตามเสียงสะท้อนที่เกิดขึ้น ในการฝึกโครงข่ายประสาทเทียมพวกเขาเปรียบเทียบโปรไฟล์เสียงสะท้อนและวิดีโอของผู้ใช้ที่ทำท่าทางต่างๆ และสร้างตำแหน่งของข้อต่อมือ 20 ข้อขึ้นใหม่ตามสัญญาณเสียง

ด้วยความช่วยเหลือจากอาสาสมัคร 12 คน นักวิจัยได้ทดสอบว่า EchoWrist ตรวจจับวัตถุต่างๆ เช่น ถ้วย ตะเกียบขวดน้ำหม้อ กระทะ และกาต้มน้ำได้ดีเพียงใด และการกระทำต่างๆ เช่น การดื่ม การกวน การปอก บิด สับ และการเท โดยรวมแล้วอุปกรณ์มีความแม่นยำ 97.6% ความสามารถนี้ทำให้ผู้ใช้สามารถติดตามสูตรอาหารแบบอินเทอร์แอคทีฟที่ติดตามความคืบหน้าของพ่อครัวและอ่านขั้นตอนถัดไป ดังนั้นผู้ปรุงอาหารจึงสามารถหลีกเลี่ยงไม่ให้หน้าจอสกปรกได้

ต่างจาก FingerTrak ซึ่งเป็นเทคโนโลยีการติดตามมือรุ่นก่อนจาก SciFi Lab ที่ใช้กล้อง EchoWrist มีขนาดเล็กกว่ามากและใช้พลังงานน้อยกว่ามาก

“ประโยชน์เพิ่มเติมที่สำคัญของการติดตามด้วยคลื่นเสียง คือ ช่วยเพิ่มความเป็นส่วนตัวของผู้ใช้ได้อย่างแท้จริง ในขณะเดียวกันก็ให้ประสิทธิภาพในระดับเดียวกันกับการติดตามกล้อง” ผู้เขียนร่วม François Guimbretière ศาสตราจารย์ด้านวิทยาการสารสนเทศใน Cornell Bowers CIS และแผนกเทคโนโลยีการออกแบบหลายวิทยาลัยกล่าว

เทคโนโลยีนี้สามารถนำไปใช้เพื่อสร้างการเคลื่อนไหวของมือสำหรับแอพพลิเคชัน VR ระบบ VR / AR ที่มีอยู่สามารถบรรลุภารกิจนี้ได้ เนื่องจากการแทร็กแบบเดิม โดยใช้กล้องที่ติดตั้งอยู่บนชุดเฮดเซต ใช้พลังงานจำนวนมากและไม่สามารถติดตามมือได้เมื่อมือออกจากขอบเขตการมองเห็นที่จำกัดของชุดเฮดเซต

“หนึ่งในแอพพลิเคชั่นที่น่าตื่นเต้นที่สุดที่เทคโนโลยีนี้จะเปิดใช้งานคือการอนุญาตให้ AI เข้าใจกิจกรรมของมนุษย์โดยการติดตามและตีความท่าทางของมือในกิจกรรมประจำวัน” เฉิงจางกล่าว

อย่างไรก็ตาม นักวิจัยตั้งข้อสังเกตว่า EchoWrist ยังคงพยายามแยกแยะระหว่างวัตถุที่มีรูปร่างคล้ายกันมาก เช่น ส้อมและช้อน แต่ทีมงานมั่นใจว่าการจดจำวัตถุจะดีขึ้นเมื่อมีการปรับแต่งเทคโนโลยี ด้วยการเพิ่มประสิทธิภาพเพิ่มเติม พวกเขาเชื่อว่า EchoWrist สามารถรวมเข้ากับสมาร์ทวอทช์ที่มีอยู่ทั่วไปได้อย่างง่ายดาย

ที่มา
techxplore