Remover pontuação

Como usar Remover pontuação

A pontuação é o que dá ritmo e clareza ao texto escrito — mas para muitas tarefas computacionais, ela é puro ruído. Pipelines de processamento de linguagem natural (NLP) geralmente começam com uma etapa de normalização de texto que inclui remover pontuação antes de tokenizar, vetorizar ou aplicar modelos de linguagem. A razão é simples: gato, gato, e gato! são a mesma palavra para um ser humano, mas são strings diferentes para um computador. Se não removermos a pontuação, o vocabulário do modelo fica inflado com variantes idênticas que divergem apenas por um caractere.

O que conta como pontuação depende muito do contexto. O padrão ASCII define como pontuação os caracteres especiais fora de letras, números e espaços. O Unicode categoriza pontuação em subgrupos: conectores, traços, marcadores de abertura, de fechamento e outros. O hífen de composição de palavras como em guarda-chuva está na mesma categoria que o hífen de enumeração. O apóstrofo tanto é pontuação quanto marca posse em inglês. Essa ambiguidade significa que a remoção mecânica de pontuação sempre vai errar em algum caso — a questão é qual erro é aceitável para o seu uso.

A história da pontuação como sistema é surpreendentemente recente. Os gregos antigos escreviam sem espaços entre as palavras e sem marcas de pontuação — ler era uma habilidade de especialistas que decodificavam o texto em voz alta. Ponto, vírgula e ponto e vírgula só foram padronizados na Itália do século XV por Aldo Manúcio, o tipógrafo veneziano que imprimiu edições baratas dos clássicos gregos em pequeno formato. A forma do ponto de interrogação deriva de uma abreviatura latina: quaestio era escrita como qo e ao longo dos séculos o q foi para cima e o o virou um ponto embaixo.