Corrigir o escape CSV

1. 1

   Adicione o seu CSV

   Solte ou escolha um arquivo .csv, .tsv, .txt ou .psv, ou cole o texto. O delimitador, a aspa e a codificação são detectados do arquivo; substitua qualquer um se a detecção falhar.

2. 2

   Leia o relatório de problemas

   Cada problema encontrado é listado com uma contagem e os números de linha afetados, esteja ou não ligada a opção que o corrige. Aspas escapadas, quebras de linha, aspas não fechadas, linhas irregulares, BOM, fins de linha misturados, aspas tipográficas e caracteres invisíveis.

3. 3

   Escolha as reparações

   Decida o que fazer com as linhas irregulares: deixá-las, preencher as curtas, truncar as longas, fundir os campos extra na última coluna, ou pôr em quarentena as que não correspondem. Depois ative a limpeza que quiser e defina delimitador, aspas e fim de linha de saída.

4. 4

   Repare, verifique as diferenças, baixe

   Cada linha alterada é realçada na pré-visualização e ao passar o cursor vê a linha original. Baixe o arquivo reparado ou copie-o. Nada é enviado em momento algum.

Um CSV que não importa raramente está corrompido: está com aspas incoerentes, tem linhas de larguras diferentes, ou está escrito numa codificação que o leitor adivinhou mal. Esta ferramenta lê o arquivo como um analisador rigoroso o faria, indica cada problema estrutural com os números de linha, deixa-o decidir o que fazer com cada um, e reescreve o arquivo para que o que quis dizer seja o que o programa seguinte lê.

• Aspas escapadas e quebras de linha sobrevivem — Uma aspa duplicada dentro de um campo entre aspas é uma aspa literal, e uma quebra de linha lá dentro pertence ao campo, não ao arquivo. Ambas são preservadas e re-escapadas corretamente.
• Um relatório, não apenas um resultado — Tudo o que é encontrado é listado com contagem e números de linha, esteja ou não ligada a opção que o corrige, por isso é informado de um problema que não pensaria em procurar.
• Diferenças por linha — As linhas alteradas são realçadas e ao passar o cursor vê a linha tal como estava escrita, por isso uma reparação é algo que pode verificar em vez de acreditar.
• Quatro respostas às linhas irregulares — Preencher, truncar, fundir os extra na última coluna, ou pôr em quarentena e listá-las. Só truncar e quarentena removem algo, ambas são opcionais e ambas relatam o que retiraram.
• Detecção que as aspas não enganam — O delimitador e a aspa são escolhidos analisando uma amostra com cada candidato e pontuando a consistência das larguras, por isso um arquivo de ponto e vírgula com um endereço entre aspas não é lido como separado por vírgulas.
• Saída sob o seu controle — Delimitador, aspa, aspas mínimas ou totais, fins de linha LF, CRLF ou CR, e se o arquivo termina com quebra de linha. A extensão segue o delimitador, por isso um arquivo separado por barras não se chama .csv.

Cada item abaixo é detectado em todos os arquivos, listado com uma contagem e os primeiros números de linha afetados, e ou é reparado automaticamente ou é oferecido como uma opção. Nada é removido dos seus dados sem que o tenha pedido explicitamente.

• Campos que contêm uma aspa — Escapados na saída como duas aspas para serem lidos como uma. Um analisador que alterna a cada aspa apaga ambos os caracteres e o campo perde conteúdo em silêncio.
• Quebras de linha dentro de campos entre aspas — Mantidas com a sua linha. Partir o arquivo pelas quebras de linha primeiro — o atalho habitual — transforma uma linha em duas, e a segunda não é CSV válido.
• Uma aspa não terminada — Relatada com o seu número de linha. O resto da linha é tomado como valor do campo em vez de o analisador correr até ao fim do arquivo e fundir tudo o que vem a seguir.
• Linhas irregulares — Linhas mais estreitas ou mais largas do que a largura habitual, contadas separadamente em cada direção para ver se ao arquivo faltam dados ou se um delimitador solto o partiu.
• Marcas de ordem de bytes — Sempre removidas. Um BOM deixado no lugar passa a fazer parte do nome da primeira coluna, e é por isso que às vezes uma planilha importada tem uma primeira coluna que nada consegue localizar pelo nome.
• Fins de linha misturados — Relatados quando um arquivo contém mais do que um tipo. A RFC 4180 especifica CRLF; pode escrever LF, CRLF ou CR, e o arquivo fica coerente de qualquer forma.
• Aspas tipográficas e caracteres invisíveis — As aspas curvas dos processadores de texto, os caracteres de largura zero e os espaços inquebráveis são detectados e podem ser endireitados, removidos ou convertidos em espaços normais.
• Nomes de cabeçalho — Os nomes de coluna vazios são preenchidos e os repetidos numerados, para que cada coluna possa ser localizada pelo nome depois da importação.

Um CSV malformado ou com aspas incoerentes normalmente não falha de forma ruidosa. Importa, e está errado: um campo a menos aqui, duas linhas fundidas ali, uma coluna de números que virou texto. Reescrever o arquivo com o escape correto faz com que seja lido da mesma forma em todas as ferramentas que o abram.

• Menos erros de importação — Aspas coerentes fazem com que um banco de dados, uma planilha e um script resolvam os mesmos campos a partir dos mesmos bytes.
• A corrupção silenciosa torna-se visível — O relatório e as diferenças por linha transformam «a importação parece estranha» num número de linha que pode ir ver.
• Entregas mais seguras — Um arquivo que passou por um leitor rigoroso e foi reescrito limpo é um arquivo sobre o qual a equipe seguinte não tem de adivinhar.
• Nada sai da sua máquina — Listas de clientes, exportações de salários e dados financeiros são reparados no seu próprio dispositivo, por isso um arquivo danificado nunca se torna uma divulgação.

Um arquivo irregular é aquele cujas linhas não têm todas a mesma largura. É o defeito com mais probabilidade de fazer uma importação falhar por completo, e aquele em que a resposta certa depende mesmo da causa — por isso a ferramenta pergunta em vez de adivinhar.

• Deixar — O padrão. As larguras são relatadas mas nada muda, o que é a escolha certa quando a irregularidade são dados reais e não um dano.
• Preencher — As linhas curtas ganham células vazias até corresponderem. As longas ficam intactas: encurtar uma linha é a única operação que destrói dados, e nunca acontece como efeito secundário de pedir preenchimento.
• Truncar — As linhas longas são cortadas para a largura habitual e o número de células removidas é relatado. Use quando sabe que os campos extra são lixo.
• Fundir — Os campos extra são juntos de novo na última coluna com o delimitador que os separou. Nada se perde, e costuma ser a resposta certa quando um valor continha um delimitador não escapado.
• Quarentena — Qualquer linha que não corresponda à largura habitual é removida e o seu número listado, para poder extrair e inspecionar as linhas suspeitas em separado.

• Codificação — Auto, UTF-8, UTF-16LE, UTF-16BE, Windows-1252 ou ISO-8859-1. Uma marca de ordem de bytes no arquivo ganha sempre à lista, porque o arquivo sabe e a lista é um palpite.
• Delimitador e aspa — Detectados por consistência de larguras, ou forçados a vírgula, ponto e vírgula, tabulação ou barra vertical, com aspas duplas, apóstrofos ou nenhuma.
• A primeira linha é cabeçalho — Ativa a reparação dos nomes de coluna e permite que o cabeçalho desempate quando nenhuma largura de linha é mais frequente do que outra.
• Linhas irregulares — Deixar, preencher, truncar, fundir ou quarentena — descritas em detalhe acima.
• Cortar espaços das células — Remove os espaços iniciais e finais de cada célula antes de o arquivo ser escrito.
• Remover linhas vazias — Descarta as linhas cujas células estão todas em branco. Uma linha com uma célula não vazia é sempre mantida.
• Endireitar aspas tipográficas — Converte as aspas curvas inseridas por um processador de texto em aspas direitas, que é o que um leitor CSV espera.
• Remover caracteres invisíveis — Apaga os caracteres de largura zero e converte espaços inquebráveis em espaços normais, para que uma célula que parece vazia esteja mesmo vazia.
• Reparar nomes de cabeçalho — Preenche os nomes de coluna vazios e numera os repetidos, para que cada coluna possa ser localizada pelo nome.
• Delimitador e aspa de saída — Mantenha os do arquivo, ou escreva vírgula, ponto e vírgula, tabulação ou barra vertical. A extensão segue o delimitador.
• Política de aspas — Mínima coloca aspas apenas nos campos que precisam. Aspas em tudo envolve cada valor, o que alguns importadores rigorosos exigem.
• Fim de linha — LF, CRLF ou CR, aplicado de forma coerente. CRLF é o que a RFC 4180 especifica.
• Terminar o arquivo com quebra de linha — Ativado por padrão. A maioria das ferramentas espera um terminador final; desative se a sua não esperar.
• Baixar como — Um nome personalizado para o arquivo reparado. Caso contrário o nome original recebe o sufixo -fixed, por isso a reparação nunca cai por cima do original danificado.

Duas configurações explicam a maioria dos arquivos que parecem caracteres corrompidos ou que importam como uma única coluna enorme. Ambas têm uma resposta certa que o próprio arquivo costuma saber.

• Deixe a codificação em Auto primeiro — Uma marca de ordem de bytes é o arquivo a declarar a sua própria codificação, e é respeitada acima de qualquer escolha manual. Sem marca, UTF-8 válido é lido como UTF-8 e tudo o resto como Windows-1252, que é o que uma planilha ocidental escreve quando ninguém lhe pediu nada.
• Os caracteres acentuados aparecem mal — O arquivo é quase de certeza Windows-1252 ou ISO-8859-1. Não são o mesmo: os bytes 128 a 159 são aspas curvas e travessões num e caracteres de controle no outro, por isso experimente Windows-1252 primeiro e ISO-8859-1 se o resultado continuar estranho.
• O arquivo inteiro cai numa coluna — Provavelmente é UTF-16, que uma planilha escreve quando lhe pedem texto Unicode. Lido como UTF-8 torna-se um campo cheio de bytes nulos e todas as linhas juntam-se. Escolha UTF-16LE, ou adicione o arquivo de novo e deixe o Auto encontrar a marca.
• Escolha CRLF para máxima compatibilidade — A RFC 4180 especifica CRLF e os validadores rigorosos avisam sobre tudo o resto. LF é a escolha mais segura para o que vai ser lido por scripts ou guardado em controle de versões.
• Fins de linha misturados valem a correção — Um arquivo que contém ambos é o que quebra leitores ingénuos, porque um retorno de carro solto no meio de um arquivo LF termina uma linha onde nada o esperava. Escolha o que escolher, a saída fica coerente.

• Visualizador CSV
• Dividir CSV
• Juntar CSV
• Comparar CSV
• Adicionar/remover colunas CSV
• Remover duplicados CSV
• Ordenar CSV
• Filtrar CSV
• CSV para Excel
• CSV para JSON
• JSON para CSV
• Excel para CSV
• Ferramentas CSV