Технология использует мозговые имплантаты для измерения нейронной активности и ИИ для воспроизведения голоса пациента.
Новая разработка превосходит существующие интерфейсы «мозг-компьютер» для синтеза речи. По словам Гопала Ануманчипалли, система обеспечивает быструю расшифровку речи, сравнимую с Alexa и Siri, и создаёт более естественный и плавный синтез.
Технология совместима с различными типами интерфейсов, включая электроды, микроэлектроды и неинвазивные датчики sEMG. Нейропротез считывает данные из моторной коры головного мозга, отвечающей за речь, а ИИ преобразует их в речь. ИИ обучается на данных о работе мозга пациента, который молча произносит слова. Для генерации звука используется модель преобразования текста в речь, созданная на основе голоса пациента до паралича.
Чхоль Джун Чо отметил, что система декодирует процессы, происходящие после формирования мысли, выбора слов и определения движений мышц.
