Overview

Class Central Tips

Berm vindo ao curso de Processamento Neural de Linguagem Natural em Português I, oferecido pelo Departamento de Ciência da Computação do Instituto de Matemática e Estatistica da USP, com apoio do C4AI – USP-IBM-Fapesp Center for Artificial Intelligence e com apoio da Google. Neste curso você irá aprender como o Machine learning (aprendizado de máquina) pode ser usado para processar textos em português. No final deste curso você já será capaz de escrever programas em Python de treinamento e execução de tarefas como classificação de textos, análise de sentimentos e traduções básicas, dentre outras aplicações de redes neurais em inteligência artificial. O curso é ministrado em português e utiliza como exemplos o processamento de textos em português brasileiro. O curso é dividido em 6 módulos. Os tópicos cobertos são: Modulo 1: Introdução à linguística computacional Modulo 2: Introdução às redes neurais Modulo 3: Processamento Neural de Língua e Representação de palavras Modulo 4: word2vec Modulo 5: Redes Neurais Recorrentes e Processamento Sequência-para-sequência Modulo 6: Redes LSTM e GRU O curso utiliza as bibliotecas do pacote Tensor Flow para Python, que podem ser baixados gratuitamente. Venha participar! Prof. Marcelo Finger e equipe do IME USP

Syllabus

Introdução ao Processamento de Língua Natural e ao Curso

Bem-vindos! Neste módulo iremos apresentar o estudo computacional da linguagem, modelos gramaticais., modelos probabilísticos e modelos neurais. Este último será explorado nos próximos módulos. Você também será introduzido a problemas típicos de processamento de língua natural

Introdução às Redes Neurais

Neste modulo iremos apresentar uma visão moderna sobre redes neurais Feed-forward, também chamadas de Perscétrons Multicamadas. Iremos detalhar como esta arquitetura de rede neural funciona, como ela pode ser treinada e como ela é aplicada em tarefas de classificação.

Procesamento Neural de Língua e Representação de Palavras

Neste módulo você irá aprender como palavras podem ser representadas por uma sequência de valores (inserção num espaço multidimensional) e como sequências de palavras podem ser processadas com estes modelos simples.

word2vec

A revolução do processamento neural de linguagem começou com métodos capazes de representar palavras de forma a codificar os contextos em que elas ocorrem com mais frequência. O werd2vec foi um dos principais métodos que realizaram esta transição, e neste modulo iremos estudá-lo em detalhe.

Modelos Neurais Recorrentes (RNNs)

Para processar sequências cada vez maiores de palavras é necessário capturar o contexto em que elas ocorrem. As redes neurais recorrentes visam solucionar este problema. No entanto elas introduziram novos desafios os quais serão explicados neste módulo. Iremos também abordar o modelo sequência-para-sequência que se iniciou com as redes recorrentes e que é usado largamente até hoje.

Modelos Recorrentes na Prática: LSTM e GRU

As redes LSTM (Long Short Term Memory) são uma arquitetura recorrente que permite balancear informações de contextos recentes e distantes e assim enfrentando os desafios introduzidos pela recorrência e possibilitando o verdadeiro processamento de textos de tamanho ilimitado. As redes GRU são uma simplificação deste modelo.