ახალი კვლევის ფარგლებში მეცნიერებმა ტვინის სიგნალების მეშვეობით სიმღერის მელოდიის რეკონსტრუქცია შეძლეს. ეს ყველასთვის კარგად ცნობილი Pink Floyd-ის Another Brick in the Wall გახლავთ.
ამ ყველაფრის უკან ადამიანის ტვინის კომპიუტერთან დამაკავშირებელი ინტერფეისი დგას: ტექნოლოგია, რომელსაც ნეიროპროთეზსაც უწოდებენ. ის პარალიზებულ პაციენტებს მოძრაობისა და კომუნიკაციის საშუალებას აძლევს. მაგალითად, მისი დახმარებით ადამიანთა ფიქრები ეკრანზე ტექსტის სახით ჩნდება, მაგრამ საუბრის რიტმისა და ემოციის გადმოტანა ძნელია. შედეგად, რობოტულ ხმას ვიღებთ.
ამ დაბრკოლების გადასალახად სპეციალისტებმა გამოიყენეს მუსიკა, რომელიც ბუნებრივად რიტმულ და ჰარმონიულ კომპონენტებს აერთიანებს. მათ მეტად პროსოდიული ხმის დეკოდირებისთვისა და რეკონსტრუქციისთვის სათანადო მოდელის შექმნა სურდათ, საჭირო მონაცემები კი უკვე ხელთ ჰქონდათ.
საქმე ისაა, რომ წინა დეკადაში მეცნიერებმა მკურნალობის მიმართ რეზისტენტული ეპილეფსიის მქონე 29 პაციენტის ტვინის აქტივობა ჩაიწერეს, როცა ისინი Pink Floyd-ის Another Brick in the Wall-ს უსმენდნენ. ახალი კვლევის ავტორებმა სწორედ ეს ჩანაწერები გააანალიზეს, რაც ხელოვნური ინტელექტის დახმარებით მოახერხეს. მათ ტვინის სმენითი რეგიონის სიგნალების დეკოდირებისთვის სპეციალური მოდელი შექმნეს და ბგერითი ტალღები აღადგინეს.
ამ აუდიო ჩანაწერში, რომელიც ტვინის აქტივობის მიხედვითაა რეკონსტრუირებული, სიმღერის რიტმი და მელოდია გარჩევადია, ანუ ჟღერადობით Another Brick in the Wall-ს ჰგავს. ამის მიუხედავად, მისი მოსმენა სიამოვნებას ნამდვილად არ მიგანიჭებთ.
მკვლევრებმა რიტმის დაფიქსირებაში მონაწილე არეალების იდენტიფიცირებაც შეძლეს. დადგინდა, რომ ამაში ყველაზე მნიშვნელოვან როლს ყურთან მდებარე ტვინის ხვეული ასრულებს. ასევე, აღმოჩნდა, რომ საუბრის აღქმაზე თუ უფრო მარცხენა ნახევარსფეროა პასუხისმგებელი, მუსიკის შემთხვევაში მარჯვენა ნახევარსფერო ერთვება.
ამ მიგნებას ადამიანის ტვინის კომპიუტერთან დამაკავშირებელი ინტერფეისების გაუმჯობესების პოტენციალი აქვს.
"ამგვარი ინტერფეისების განვითარება არის გზა, მუსიკალურობა შევმატოთ ტვინის იმპლანტებს მათთვის, ვისაც ისინი სჭირდებათ. ეს საშუალებას გვაძლევს, გავშიფროთ არა მხოლოდ ლინგვისტური შიგთავსი, არამედ მეტყველების პროსოდიული მახასიათებლებიც", — ამბობენ ავტორები.
