Uma nova e avançada tecnologia de “leitura da mente” poderá dar novos insights de como funciona o nosso cérebro e também acelerar sistemas de Inteligência Artificial (AI).

Pesquisadores da Purdue Engineering desenvolveram um sistema que decodifica, em tempo quase real, imagens em movimento que pessoas estejam assistindo em vídeos, a partir das imagens cerebrais por ressonância magnética funcional (fMRI).

Mais importante: os pesquisadores também conseguiram determinar as interpretações das imagens que as pessoas viam – por exemplo, interpretar uma imagem como sendo de um indivíduo ou de uma coisa – e, até mesmo, reconstruir uma versão das imagens originais que elas estavam vendo.

Para decodificar as imagens de fMRI, a pesquisa foi pioneira ao utilizar uma técnica de aprendizagem profunda chamada de Rede Neural Convolutiva (CNN – Convolutional Neural Networks). Eles treinaram o modelo CNN, o qual conseguiu decodificar com precisão dados de fluxo sanguíneo de fMRI para identificar categorias de imagens específicas (como rostos, pássaros, navios, etc). Os pesquisadores puderam comparar (em tempo quase real) essas imagens vistas no vídeo, lado a lado com a interpretação visual do computador do que o cérebro da pessoa via.

Como observar em tempo quase real o que o cérebro vê: a informação visual gerada por um vídeo (a) é processada em cascata da retina, através do tálamo (área LGN), para vários níveis do córtex visual (b), detectado a partir de padrões de atividade fMRI (c) e então é gravado. Em seguida, a técnica de aprendizado profundo (d) modela esse processamento visual cortical. O modelo chamado de Rede Neural Convolutiva (CNN), transforma cada quadro de vídeo em múltiplas camadas de recursos, variando de orientações e cores (a primeira camada visual) a categorias de objeto (face, pássaro, etc.) em semântico (significado) espaço (a oitava camada). O modelo CNN treinado pode então ser usado para reverter esse processo, reconstruindo os vídeos originais, inclusive criando novos vídeos que o modelo da CNN nunca tenha assistido. (crédito: Haiguang Wen et al./Crebral Cortex)

O estudo baseou-se numa pesquisa pioneira realizada em 2011 no Gallant Lab da UC Berkeley. Na época, foi criado um programa computacional que traduzia padrões de ondas cerebrais de fMRI em imagens que refletiam uma série de imagens que estavam sendo vistas.

Agora, o novo sistema usou a AI de aprendizagem profunda (deep leaning) para ver o que o cérebro via. Os pesquisadores trabalharam em cima de 11 horas e meia de dados de fMRI de cada uma das três mulheres envolvidas no estudo, as quais assistiram 972 videoclipes de cenas da natureza, de pessoas e de animais.

Reconstrução da experiência visual nesse experimento. A linha superior mostra exemplos vistos por uma pessoa nos vídeos; A linha inferior mostra a reconstrução desses quadros com base nas respostas corticais fMRI da pessoa ao assistir o vídeo. (crédito: Haiguang Wen et al. / Cortex Cerebral)

Os pesquisadores também conseguiram descobrir como certos locais no córtex visual estavam associados a informações específicas daquilo que a pessoa estava vendo.

Como funciona o córtex visual?

As CNNs têm sido usadas para reconhecer faces e objetos e para estudar como o cérebro processa imagens estáticas e outros estímulos visuais. Mas, esta foi a primeira vez que as CNNs foram usadas para observar como o cérebro processa vídeos de cenas “do mundo natural”. Este é “um passo a frente para decodificar o cérebro, enquanto as pessoas estão tentando dar um significado um ambiente visual complexo e dinâmico”, disse Haiguang Wen, doutorando e autor do artigo que descreve a pesquisa, divulgada no dia 20 de outubro no journal Cerebral Cortex.

“A neurociência tem tentando mapear quais partes do cérebro são responsáveis ​​por funcionalidades específicas”, explicou Wen. “Este é um marco histórico da neurociência. Acredito que o que relatamos neste artigo nos aproxima desse objetivo. Com a nossa técnica, podemos visualizar uma informação específica representada por qualquer local do cérebro e exibir toda a localização do córtex visual do cérebro. Ao fazer isso, se pode ver como o cérebro divide uma cena visual em pedaços e remonta as peças em uma compreensão completa da cena visual.”

Os pesquisadores também conseguiram usar modelos treinados com dados de uma pessoa para prever e decodificar a atividade cerebral de uma outra pessoa, um processo chamado “codificação e decodificação cruzada”. Esse achado é importante porque mostra o potencial para amplas aplicações destes modelos para estudar a função cerebral, como por exemplo, de pessoas com déficits visual.

Fonte: Cerebral Cortex