Frequência de palavras

Como usar Frequência de palavras

A análise de frequência de palavras é um dos fundamentos mais simples e poderosos da linguística computacional e do processamento de linguagem natural. Em 1949, o linguista George Kingsley Zipf publicou uma observação que se tornaria famosa como a Lei de Zipf: em qualquer corpus de texto suficientemente grande, a frequência de uma palavra é inversamente proporcional à sua posição no ranking de frequência. A palavra mais comum aparece aproximadamente duas vezes mais do que a segunda mais comum, três vezes mais do que a terceira, e assim por diante. Essa distribuição vale para qualquer idioma natural — português, inglês, mandarim — e até para código-fonte de programas.

No universo do NLP (Natural Language Processing), frequência de palavras é a base de técnicas como TF-IDF (Term Frequency - Inverse Document Frequency), usada em motores de busca para ponderar a importância de cada termo num documento em relação a um corpus inteiro. O TF-IDF é o fundamento de como o Google entendia textos antes dos modelos de linguagem de larga escala como o BERT (lançado em 2018). Nuvens de palavras (word clouds) são representações visuais de frequência onde o tamanho de cada palavra na imagem é proporcional à sua ocorrência no texto. Embora muito criticadas em contextos analíticos sérios, continuam sendo a forma mais intuitiva de visualizar o vocabulário dominante de um texto.

Para análise de texto mais significativa, sempre é necessário filtrar as stop words — palavras de alta frequência mas baixo conteúdo semântico como 'de', 'o', 'a', 'que', 'é', 'em'. Em qualquer idioma natural, as 50 palavras mais frequentes são geralmente stop words. A decisão de incluir ou excluir stop words depende do objetivo: para análise de estilo de escrita, incluí-las faz sentido; para análise de conteúdo (o que o texto fala), filtrá-las é essencial. Listas de stop words estão disponíveis em bibliotecas como NLTK e spaCy.

Esta ferramenta tokeniza o texto por espaços e pontuação comum, conta as ocorrências e exibe em ordem decrescente de frequência. A tokenização é simples — não faz stemming (redução de palavras à raiz) nem lematização (normalização de conjugações e plurais). 'correr', 'correndo' e 'correu' serão contados como palavras distintas. Para análises linguísticas profundas, isso é uma limitação; para análises rápidas de conteúdo — verificar se um texto usa uma palavra-chave com a frequência certa, identificar repetições excessivas, comparar vocabulário de dois textos — é exatamente o que você precisa.