Texto para ASCII

Como usar Texto para ASCII

Em 1963, um comitê americano publicava o padrão ASCII — American Standard Code for Information Interchange — encerrando anos de caos em que cada fabricante usava seu próprio código de caracteres. A IBM tinha o EBCDIC, os teletipos Baudot operavam com apenas 5 bits e 32 posições, os terminais DEC tinham tabelas proprietárias. Trocar dados entre máquinas de marcas diferentes era um pesadelo de tradução manual. O ASCII de 7 bits resolveu isso com 128 posições: 33 caracteres de controle herdados do teletipo — incluindo o BEL (7) que fazia um sino físico soar, o BS (8) para apagar o último caractere e o DEL (127) que perfurava todos os buracos da fita de papel — e 95 caracteres imprimíveis. A decisão de incluir letras minúsculas foi debatida por anos no comitê; algumas propostas as deixavam de fora para economizar bits.

O Unicode surgiu nos anos 1990 como extensão natural do ASCII: todos os 128 code points originais foram preservados em suas posições exatas, então `A` ainda é o 65 e o espaço ainda é o 32. O que mudou foi o teto: o Unicode define 1.114.112 posições (de U+0000 a U+10FFFF), cobrindo todos os sistemas de escrita do mundo, emojis, símbolos matemáticos e até a escrita cuneiforme suméria. Quando esta ferramenta exibe o valor numérico de um caractere, ela mostra exatamente o code point Unicode — que para qualquer caractere ASCII é idêntico ao valor de 1963. Para caracteres acima de U+007F é importante entender que o code point não é o mesmo que os bytes UTF-8: a letra `ã` tem code point 227 (0xE3), mas em UTF-8 ocupa 2 bytes: C3 A3.

Na prática, ver os code points de uma string é mais útil do que parece à primeira vista. Todo desenvolvedor que já passou horas depurando um bug misterioso de encoding conhece bem os caracteres invisíveis: o zero-width space (U+200B) que faz uma string parecer idêntica mas se comportar diferente em comparações, o soft hyphen (U+00AD) que não aparece visualmente mas ocupa posição, o byte order mark (U+FEFF) que o Bloco de Notas do Windows insere silenciosamente em arquivos UTF-8. Ver os code points de uma string suspeita resolve esse tipo de mistério em segundos. É também indispensável para preparar casos de teste nos limites de encoding, gerar dados de fixtures e participar de CTF — onde pistas quase sempre chegam disfarçadas de sequências numéricas inocentes.