瞬时语音合成神经假体

　　一个。三个示例试验的音频记录，音频谱图和两个最声音相关的神经电极的光谱图。显示了三种类型的语音任务的示例。即使在顶部两个最相关的神经电极中，也无法观察到音频谱图中的突出光谱结构。在每个单词的语音发作之前，可以观察到神经活动的增加，反映了言语预备活动并进一步反对声学污染。请注意，在“强调”示例中，最后一个单词“ got ”并未充分发声（其音频频谱的活动最少），但是可以观察到与其他单词相似的神经活动的增加。污染矩阵和统计标准显示在底行中，其中p值指示该试验是否受到显着污染。b 。尝试使用麦克风，听觉麦克风和IMU传感器（加速度计和陀螺仪）测量的心脏内神经信号和各种生物信号的尝试的示例试验。对单独的独立解码器进行了培训，可以使用每个生物信号（或所有三个生物信号）综合语音。c 。可以通过生物信号来测量声音，移动和振动期间的生物信号来综合语音。（左）使用神经信号，每个生物信号和所有生物信号一起合成的跨验证的皮尔逊相关系数（平均值±S.D.）（与目标语音相比）在一起。与神经活动相比，来自生物信号的解码语音的重建精度明显较低（双面Wilcoxon rank-sum，p = 10-59 ，n = 240个句子）。（右）皮尔逊相关系数的分布来自生物信号和神经信号的语音解码系数主要是不重叠的，表明来自生物信号的合成质量远低于神经信号。d。为了评估来自神经活动和生物信号（听觉MIC解码器）的语音合成的可理解性，幼稚的人类听众使用两个解码器进行了（相同）30综合试验的开放转录。神经解码的中值音素错误率和单词错误率明显低于解码器记录，该记录的单词错误率为100％。这表明可理解的语音不能从这些非神经生物信号中解码。

本文来自作者[lejiaoyi]投稿，不代表言希号立场，如若转载，请注明出处：https://lejiaoyi.cn/leyi/1093.html