Làm thế nào chúng ta thiết kế nhạc cụ với sự giúp đỡ của các nhạc sĩ khuyết tật và VR

Anonim

Hầu hết các công nghệ kỹ thuật số mới có xu hướng được thiết kế dành cho người dùng có khả năng. Các máy tính để bàn đầu tiên yêu cầu các kỹ năng vận động tinh để điều hướng các menu phần mềm bằng chuột và điện thoại di động cần người dùng nhấn nút, vuốt màn hình, v.v. Để sử dụng công nghệ như vậy, một người cần phải khá khéo léo.

Trong nhóm Hiệu suất không có rào cản, chúng tôi thiết kế giao diện âm nhạc kỹ thuật số với các nhạc sĩ khuyết tật. Công việc này thu hút những người biểu diễn khuyết tật từ khi bắt đầu một công nghệ mới và xem xét các khả năng cụ thể mà họ có. Theo cách này, các công nghệ phát triển song song với chúng, có tính đến tính di động, nhu cầu và lợi ích sáng tạo của chúng.

Công nghệ VR hiện tại được thiết kế cho cơ thể có khả năng, nhưng quan trọng hơn là nó thường chỉ cho phép các tương tác thụ động - ví dụ như nghe các buổi biểu diễn âm nhạc, chẳng hạn như buổi hòa nhạc 360 của Elton John, hay cưỡi trên tàu lượn siêu tốc. Chúng tôi quan tâm nhiều hơn đến việc làm thế nào các nhạc sĩ khuyết tật có thể sử dụng các công nghệ VR theo cách chủ động và biểu diễn.

Làm việc cùng nhau

Nhóm nghiên cứu của chúng tôi bao gồm một nhóm đa dạng, bao gồm các kỹ sư điện tử, nhà khoa học máy tính, nhà nghiên cứu nghệ thuật âm thanh, nhà thiết kế nội dung nhập vai, một nghệ sĩ độc tấu và một nhóm địa phương giúp các nhạc sĩ khuyết tật biểu diễn và sáng tác nhạc của họ một cách độc lập. Cùng với những nhạc sĩ này, chúng tôi đã hợp tác với một nhà phát triển phần mềm ở Mỹ, người đang thiết kế một nhạc cụ VR có tên là nhạc cụ Infinite nhạc kiếm, chạy trên tai nghe 360 ​​° VR có tên HTC VIVE.

Nhạc cụ được phát triển với các nhạc sĩ có khả năng trong tâm trí, vì vậy chúng tôi đã thiết kế nó để tính đến các loại khả năng khác nhau. Điều này dẫn đến một trong những nhạc sĩ của chúng tôi bị bại não chơi một nhạc cụ VR mới được thiết kế đặc biệt để tính đến các chuyển động trên cơ thể biểu cảm của cô ấy. Nó không yêu cầu cô sử dụng độ chính xác của động cơ tốt trong tay hoặc ngón tay, thứ mà cô không sở hữu.

Tai nghe VR nhất thiết là về những gì bạn nhìn thấy. Tuy nhiên, chúng tôi thấy rằng phản hồi xúc giác từ bộ điều khiển cầm tay - thông qua đó người dùng truy cập menu và nhấn lệnh để tiếp cận nội dung - cho phép nhạc sĩ đặc biệt này chơi nhạc cụ bằng cách cảm nhận và nghe nó, thay vì nhìn qua tai nghe . Không phải phụ thuộc vào tai nghe cũng có nghĩa là cô ấy có thể duy trì liên lạc trực quan với các nhạc sĩ khác trong buổi biểu diễn.

Một ví dụ khác về thiết kế VR hợp tác của chúng tôi là làm việc với một người biểu diễn mù. Chìa khóa cho nhạc sĩ này là kỹ năng điêu luyện của anh ấy trên clarinet. Ý tưởng là xây dựng dựa trên chuyên môn và thích nghi và nâng cao kỹ năng trình diễn âm nhạc của anh ấy bằng cách sử dụng các công nghệ VR.

Trải nghiệm VR tập trung vào trải nghiệm hình ảnh đến nỗi chúng thường coi nhẹ bản chất đắm chìm vốn có của âm thanh, nhưng đó là tất cả xung quanh chúng ta, một trải nghiệm 360 ° thích hợp. Rõ ràng, một tai nghe trực quan không liên quan hoặc hữu ích cho nhạc sĩ mù này. Chúng tôi cần tập trung vào cách chúng tôi có thể sử dụng các phẩm chất nhập vai khác của một không gian cho buổi biểu diễn âm nhạc.

Nhóm của chúng tôi có trụ sở tại Sonic LAB in Queen, một không gian âm thanh 3D nhập vai và hoàn toàn tùy biến - thường được gọi là iMAX cho đôi tai - chúng tôi đã quyết định điều chỉnh công nghệ VIVE cho bối cảnh hiện có này.

Đối với nghệ sĩ clarinettist của chúng tôi, chúng tôi tập trung vào các bộ điều khiển VIVE, vì chúng nhạy bén hơn trực quan. Họ cũng có thể theo dõi các vị trí vật lý trong một không gian, điều đó có nghĩa là người thổi kèn có thể định vị âm thanh trong 3D Sonic LAB bằng cách sử dụng bộ điều khiển VIVE gắn vào nhạc cụ của mình.

Tư duy bao quát và thiết kế

Những thiết kế nhạc cụ VR bespoke này được giới thiệu trong buổi hòa nhạc giới thiệu vào tháng 11 năm 2018, nơi các nhạc sĩ khuyết tật biểu diễn cùng với các nhạc sĩ từ Đoàn nhạc kịch Hard Rain Soloist.

Khán giả được định vị trong một vòng tròn bao quanh các nhạc sĩ để tăng cường trải nghiệm nhập vai của không gian biểu diễn.

Thị trường thiết bị khuyết tật trên toàn thế giới ước tính sẽ tăng lên hơn 8 tỷ USD vào năm 2020 và doanh số bán thiết bị khuyết tật ở Anh đã tăng hơn 93% trong mười năm qua. Tất cả các công nghệ, bao gồm VR, có thể được bao gồm nếu quan điểm của người khuyết tật là một phần trong thiết kế của họ.

Cách tiếp cận của chúng tôi cho thấy các công nghệ mới có thể được phát triển như thế nào, tích cực thu hút các nhạc sĩ khuyết tật vào việc tạo ra âm nhạc và thể hiện cam kết về chất lượng cuộc sống cho các nhạc sĩ khuyết tật. Chúng tôi sẽ tiếp tục thiết kế các nhạc cụ có thể được sử dụng trong VR, nhưng giờ chúng tôi sẽ tập trung vào việc sử dụng các hệ thống giá cả phải chăng hơn, nhằm tạo ra một dàn nhạc thực tế ảo gồm các nhạc sĩ khuyết tật và có khả năng.