Este repositório vai ser movido de organização e ter uma URL especial via organização @EticaAI.

Na computação, uma palavra vazia (ou stop word, em inglês) é uma palavra que é removida antes ou após o processamento de um texto em linguagem natural.[1] Não existe uma lista universal de palavras vazias usadas por todas as ferramentas de processamento de linguagem natural e nem todas ferramentas fazem uso de uma lista dessas palavras. Algumas ferramentas, inclusive, evitam remover as chamadas "palavras vazias" para dar suporte à busca de sentenças.

Qualquer grupo de palavras pode ser escolhido como grupo de "palavras vazias" de acordo com o objetivo do processamento. Para alguns motores de busca, são selecionadas como palavras vazias as palavras mais comuns da língua e palavras funcionais, como o, a, em e no. Embora a utilização de palavras vazias possa simplificar a análise do texto, o uso delas pode causar problemas por impedir a distinção de nomes que fazem uso delas para formar alguma entidade representativa do discurso, como em 'O Teatro Mágico', 'A Bela e a Fera' e 'Firefox OS'. Outros motores de busca removem as palavras mais comuns da busca com o intuito de melhorar o desempenho das buscas.[2]

Via https://pt.wikipedia.org/wiki/Palavra_vazia

Um local que tem stopwords em português é https://github.com/stopwords-iso/stopwords-pt. Essa lista parece ser um compilado de outras 10 listas em https://github.com/stopwords-iso/stopwords-pt/tree/master/raw

Uma busca por "stop words portugues" retorna por exemplo esse outro gist que parece não ter atualização faz 5 anos https://gist.github.com/alopes/5358189 antes da fonte anterior.

Stopwords são muito importantes para facilitar processamento de linguagem natural, e vale a pena ter revisão ou cuidado de mais gente da comunidade para revisar as listas

Eu estou mais ocupado obtendo e listando os próprios datasets, porém qualquer pessoa que futuramente estiver lendo esse issue aqui, considere antes de fazer um port de um desses datasets para ser usado pela sua linguagem de programação favorita:

1. Ver se alguém já não fez.
2. E se não foi feito, considere que a forma como os bancos de dados estão nativamente encodados já existe alguma biblioteca que acesse o formato sem precisar converter para outro (a exemplo, o VERO-pt-BR usa hunspell, que possui biblioteca para algumas linguagens)

Por exemplo, o conjunto de dados VERO-pt-BR está disponível como dicionário instalável como pacote npm no mínimo nesse repositório aqui https://github.com/wooorm/dictionaries/tree/master/dictionaries/pt-BR feito por pessoa de fora do Brasil.

O site antes de #7 era servido pela URL https://fititnt.github.io/linguistic-datasets-portuguese. Como é comum, na organização @EticaAI tipicamente usamos um subdomínio de etica.ai.

Uma limitação que temos é que o plano gratuito da Cloudflare apenas oferece auto SSL até um nível de subdomínio, vide https://support.cloudflare.com/hc/en-us/articles/204151138. Ou seja, opções como sub-subdominio.subdominio.etica.ai não funcionam sem pagar*, e isso seria perfeito no caso de organizar por subgrupos.

Os possíveis nomes para os subdomínio que imagino agora seriam:

• linguistic-datasets-portuguese.etica.ai
• linguistic-datasets-pt.etica.ai
• (alguma variação considerando a tradução seria algo como "conjuntos de dados linguísticos para português")

Nesse momento, vou definir como linguistic-datasets-pt.etica.ai, porém até eu mesmo estaria aberto a opções. A justificativa de usar 'linguistic-datasets-pt' em vez de 'linguistic-datasets-portuguese' é por ser mais curto e porque em outros casos para contornar a limitação dos subsubdominios com auto-SSL gratuitas via cloudflare a opção tendia a ser trocar "(termo).pt.etica.ai" por "(termo)-pt.etica.ai"

*: (ou sem garantir que o provedor final possa oferecer auto-SSL, que no caso do github não é trivial)

• http://nilc.icmc.usp.br/macmorpho/
• Download: http://nilc.icmc.usp.br/macmorpho/macmorpho-v3.tgz
• Manual: http://nilc.icmc.usp.br/macmorpho/macmorpho-manual.pdf
• Disponível também via NLTK data http://www.nltk.org/nltk_data/

Mac-Morpho is a corpus of Brazilian Portuguese texts annotated with part-of-speech tags. Its first version was released in 2003 [1], and since then, two revisions have been made in order to improve the quality of the resource [2, 3].

The corpus is available for download split into train, development and test sections. These are 76%, 4% and 20% of the corpus total, respectively (the reason for the unusual numbers is that the corpus was first split into 80%/20% train/test, and then 5% of the train section was set aside for development). This split was used in [3], and new POS tagging research with Mac-Morpho is encouraged to follow it in order to make consistent comparisons possible.

• Download Mac-Morpho
• Download annotation manual (in Portuguese)
  NOTE: the manual was written for its original annotation, i.e., before the changes in the tagset were
  introduced. Therefore, it does not reflect the current state of the corpus.

Disclaimer: Mac-Morpho versions 1, 2 and 3 are licensed under a Creative Commons Attribution 4.0 International License. This means you can distribute, remix, tweak, and build upon Mac-Morpho versions, even commercially, as long as you give us the credit for the original creation. Mac-Morpho License.

• https://www.linguateca.pt/Floresta/
• https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/packages/corpora/floresta.zip

Chamamos de "Floresta Sintáctica" um conjunto de frases (corpus) analisadas (morfo)sintaticamente. Como, além da indicação das funções sintácticas, a análise também explicita hierarquicamente informação relativa à estrutura de constituintes, dizemos que uma frase sintaticamente analisada se parece com uma árvore, donde um conjunto de árvores constitui uma floresta sintáctica (em inglês, treebank).

O projecto Floresta Sintá(c)tica é uma colaboração entre a Linguateca e o projecto VISL. Contém textos em português (do Brasil e de Portugal) anotados (analisados) automaticamente pelo analisador sintáctico PALAVRAS (Bick 2000) e revistos por linguistas.

Atualmente, a Floresta Sintá(c)tica tem quatro partes, que diferem quanto ao gênero textual, quanto ao modo (escrito vs falado) e quanto ao grau de revisão linguística: o Bosque, totalmente revisto por linguistas; a Selva, parcialmente revista, a Floresta Virgem e a Amazônia, não revistos. Junto, todo esse material soma cerca de 261 mil frases (6,7 milhões de palavras) sintaticamente analisadas (mais...)

Toda a Floresta Sintá(c)tica está publicamente disponível, sendo possível levantá-la na íntegra, em diferentes formatos, ou interrogá-la por meio de várias interfaces de busca, nomeadamente o Milhafre, o Águia e o CorpusEye (mais...).

Uma floresta sintáctica serve para o treino e avaliação de analisadores morfossintácticos, para estudos baseados em corpos e para investigação da língua, não apenas da sintaxe, mas também de aspectos semânticos e discursivos. Pode, ainda, ser um auxiliar no ensino (mais...)

Subjacente a uma floresta sintáctica há sempre um modelo de gramática, com suas regras e categorias. Na Floresta Sintá(c)tica, procuramos minimizar o impacto de um modelo (mais...)

Veja aqui perguntas já respondidas sobre o projecto, como citar a Floresta Sintá(c)tica, (mais...)

Conheça a equipe da Floresta.

O http://voc.iilp.cplp.org diz estar usando o Open Source Lexical Information Network (OSLIN) (http://www.oslin.org/) e já leva em consideração o uso de português em diferentes países.

Nas próximas semanas vale a pena ver como esse recurso aqui pode ser aproveitado.