fabiolimace / lincom Goto Github PK

O objetivo desta é parecido com o da #3, só que com n-gramas.

O objetivo desta tarefa é listar todos os bigramas de caracteres de um corpus, que será composto por textos escritos em idiomas distintos.

O objetivo é criar um script que conta as ocorrências das palavras em cada documento de um corpus.

Subtarefas:

• Definir os arquivos que comporão o corpus;
• Realizar preparação/limpeza/tratamento dos arquivos;
• Registrar detalhadamente as operações realizadas durante a preparação/limpeza/tratamento;

Artefatos esperados:

• O script na linguagem R;
• Registro detalhado da preparação dos documentos;
• Um arquivo CSV que contém as frequências de cada palavra.

Formato esperado do arquivo CSV:

NOME_DOCUMENTO, PALAVRA, FREQUENCIA
Noticia_1.txt , terra  , 1

Ferramentas de apoio:

• Extrator de notícias;
• Extrator de entradas da Wikipédia;
• Expressão regular para captura de frases;
• Alguns comandos de limpeza de páginas da Wiki.

O objetivo desta tarefa é encontrar sintagmas nominais em uma lista grande de bigramas.

O escopo desta tarefa está restrito a estas construções:

• SN = Det + Subst, em que Det são artigos.
• SN = Prep + Det + Subst, em que Prep e Det estão combinados/contraídos.

A segunda construção é um SP que contém um SN.