Bir ilk: Felçli kadın, dijital avatar aracılığıyla 'konuşabildi'

Bu ilerleme, beyin-bilgisayar arayüzlerinin (BCI'ler), felç ve amyotrofik lateral skleroz (ALS) gibi durumlar nedeniyle konuşma yeteneğini kaybeden insanların hayatlarını dönüştürmenin eşiğinde olabileceği yönündeki umutları artırıyor.

Şimdiye kadar hastalar, göz takibi veya küçük yüz hareketleri kullanarak kelimeleri heceleyerek doğal konuşmayı imkansız hale getiren, son derece yavaş yavaş konuşma sentezleyicilerine güvenmek zorundaydı.

En son teknoloji, beynin konuşma ve yüz hareketlerini kontrol eden kısmındaki elektriksel aktiviteyi tespit etmek için beynin yüzeyine yerleştirilen küçük elektrotları kullanıyor.

Bu sinyaller doğrudan dijital avatarın konuşmasına ve gülümseme, kaşlarını çatma veya şaşkınlık gibi yüz ifadelerine dönüştürülüyor.

San Francisco Kaliforniya Üniversitesi'nde (UCSF) çalışmayı yöneten Profesör Edward Chang, "Amacımız, başkalarıyla konuşmanın gerçekten en doğal yolu olan tam ve somut bir iletişim biçimini yeniden oluşturmak. Bu gelişmeler bizi bunu hastalar için gerçek bir çözüm haline getirmeye daha da yaklaştırıyor" dedi.

Ann adında 47 yaşındaki bir kadın olan hasta, 18 yıldan fazla bir süre önce beyin sapı felci geçirdiğinden beri ciddi şekilde felç oldu.

Konuşamıyor veya yazamıyor ve normalde dakikada 14 kelimeye kadar harfleri yavaşça seçmesine olanak tanıyan hareket izleme teknolojisini kullanarak iletişim kuruyor.

Avatar teknolojisinin gelecekte danışman olarak çalışmasına olanak sağlayacağını umuyor.

Ekip, Ann'in beyninin konuşma için kritik olan bölgesine 253 elektrottan oluşan kağıt inceliğinde bir dikdörtgen yerleştirdi.

İmplantasyondan sonra Ann, sistemin yapay zeka algoritmasını eğitmek üzere farklı cümleleri tekrar tekrar söyledi.

Bilgisayar 39 farklı sesi öğrendi ve sinyalleri anlaşılır cümlelere çevirmek için Chat GPT tarzı bir dil modeli kullanıldı.

Bu daha sonra, Ann'in düğününde yaptığı konuşmanın bir kaydına dayanarak, Ann'in yaralanmadan önceki sesine benzeyecek şekilde kişiselleştirilmiş bir sese sahip bir avatarı kontrol etmek için kullanıldı.