นักพัฒนาค้นพบวิธีเข้าถึงกล้องพาสทรูของ Meta Quest 3 โดยใช้วิธีง่าย ๆ

แม้ว่า Meta จะยังไม่อนุญาตอย่างเป็นทางการให้นักพัฒนาบุคคลที่สามใช้กล้องในตัวของชุดหูฟัง Quest แต่ Michael Gschwandtner ผู้ร่วมก่อตั้งและหัวหน้าผู้พัฒนา XRWorkout เพิ่งเปิดตัวโซลูชันที่เป็นนวัตกรรมใหม่

วิธีการของเขาคือใช้ฟังก์ชันการฉายหน้าจอของ Quest เพื่อส่งหน้าจอไปยัง WebView ในแอปพลิเคชันและโหลด URL ของ oculus.com/casting อย่างไรก็ตาม วิธีการนี้กำหนดให้ผู้ใช้ต้องเข้าสู่ระบบบัญชี Meta ใน WebView และต้องเปิดใช้งานฟังก์ชัน screencasting ด้วยตนเอง

ขณะนี้ Julian Triveri นักพัฒนา VR อีกคนได้ค้นพบวิธีการใหม่ที่ไม่ต้องใช้ WebView หรือ Screencasting ดังนั้นจึงหลีกเลี่ยงขั้นตอนการเข้าสู่ระบบและการทำงานของระบบที่น่าเบื่อ

Triveri ใช้ Android Media Projection API ซึ่งมีอยู่ในชุดหูฟัง Quest โดยส่วนใหญ่จะใช้สำหรับการจับภาพหน้าจอและรองรับการบันทึกหน้าจอแบบกำหนดเองหรือการตั้งค่าการแคสต์หน้าจอ ใน Quest API นี้สามารถให้ภาพที่มีความละเอียด 1024×1024 โดยมีมุมมองจากส่วนกลางประมาณ 82 องศา แม้ว่าจะต่ำกว่าเอฟเฟกต์ในโหมดการฉายภาพหน้าจอเล็กน้อย แต่ก็เพียงพอสำหรับการเรียกใช้โมเดลคอมพิวเตอร์วิทัศน์แบบกำหนดเอง

การใช้ API นี้จำเป็นต้องได้รับอนุมัติจากผู้ใช้ แต่เมื่อได้รับสิทธิ์แล้ว แอปพลิเคชันจะสามารถเข้าถึงสิ่งที่ผู้ใช้เห็นได้โดยตรง Triveri ได้แชร์การสาธิตโอเพ่นซอร์สของเทคโนโลยีนี้บน GitHubและเขายังแสดงตัวอย่างแบบแยกส่วนของการใช้เทคโนโลยีนี้เพื่อใช้งานการติดตาม AprilTag

เป็นที่น่าสังเกตว่าวิธีนี้ไม่สามารถใช้งานได้เมื่อชุดหูฟังกำลังบันทึกหรือสะท้อนหน้าจอ ดังนั้น Triveri จึงใช้พีซีในการบันทึก นอกจากนี้ ภาพที่จับได้ไม่เพียงแต่รวมถึงมุมมองของกล้องเท่านั้น แต่ยังรวมถึงวัตถุเสมือนและองค์ประกอบอินเทอร์เฟซ ซึ่งอาจส่งผลต่อการปฏิบัติงานของคอมพิวเตอร์วิทัศน์

ด้วยการค้นพบนี้โดย Triveri ทำให้แอป Quest สามารถเข้าถึงกล้องได้ง่ายขึ้น Meta จะยอมรับวิธีนี้หรือ Horizon OS จะได้รับการอัปเดตเพื่อป้องกันการเข้าถึงนี้หรือไม่

เมื่อเดือนที่แล้ว Meta CTO Bosworth กล่าวในการให้สัมภาษณ์ว่าพวกเขากำลังพิจารณาที่จะอนุญาตให้นักพัฒนาเข้าถึงกล้องดูผ่านได้โดยตรง และกล่าวว่าพวกเขาจะให้ความสำคัญกับปัญหานี้ต่อไป

ในทางตรงกันข้าม Apple ให้สิทธิ์การเข้าถึงกล้องดิบสำหรับชุดหูฟัง Vision Pro แก่ผู้ใช้ระดับองค์กร และสำหรับแอปพลิเคชันภายในที่ไม่ใช่แบบสาธารณะเท่านั้น

ที่มา uploadvr.com