CLONE DE VOZ
Com um sistema que analisa uma voz pré-gravada (ou mesmo uma ouvida na hora) e cria um modelo matemático. Esse modelo é então inserido dentro de um software texto-para-voz, com uma diferença: com o modelo matemático inserido, o sistema consegue reproduzir não apenas o que foi dito, mas com a mesma voz da fala original.
Nosso sistema consiste
em 3 componentes
treinados independente
Uma rede codificadora de voz, treinada em uma tarefa de verificação de alto-falante usando um conjunto de dados independente de fala barulhenta de milhares de alto-falantes sem transcrições, para gerar um vetor de incorporação de dimensão fixa a partir de segundos de fala de referência de um alto-falante alvo;
Uma rede de síntese sequência a sequência, que gera um espectrograma mel a partir do texto, condicionado à incorporação do alto-falante;
Um vocoder auto-regressivo que converte o espectrograma em uma sequência de amostras de formas de onda no domínio do tempo.
MAIS FUNCÕES
Além de reproduzir uma voz já existente o sistema é capaz de gerar novas vozes, usando trechos aleatórios das amostras, e também pode ser usado em técnicas de tradução, analisando uma voz em um idioma e gerando uma voz similar à original em inglês.
