Quitar duplicados de CSV

1. 1

   Añade tu CSV

   Suelta un archivo .csv, .tsv, .txt o .psv, o selecciona uno. No se sube nada.

2. 2

   Elige qué es un duplicado

   Compara la fila completa o marca las columnas que identifican un registro.

3. 3

   Ajusta las reglas de comparación

   Decide si importan las mayúsculas, los espacios alrededor y la puntuación, y si se conserva la primera o la última aparición.

4. 4

   Revisa lo que se eliminará

   Cada fila aparece marcada como Conservada o Eliminada y agrupada con las que coinciden, para comprobar el resultado antes de confirmarlo.

5. 5

   Exporta

   Descarga las filas únicas o cambia la salida para obtener las duplicadas.

Deduplicar es fácil, y es fácil hacerlo mal. La diferencia está en si puedes ver qué se elimina antes de que desaparezca. Esta herramienta se construye alrededor de esa revisión y de un comparador lo bastante flexible como para describir lo que un duplicado significa de verdad en tus datos.

• Fila completa o varias columnas — Todas las celdas deben coincidir, o solo las columnas que marques: un correo, o un nombre y un código postal juntos.
• Conservar la primera o la última — Por defecto sobrevive la primera aparición; cambia a la última cuando la fila más reciente contiene el estado actual.
• Cuatro reglas de comparación — Ignorar mayúsculas, ignorar espacios alrededor, unificar espacios repetidos, ignorar puntuación. Cada una se aplica en todos los modos.
• Revisión fila por fila — Cada fila se marca como Conservada o Eliminada y se tiñe según su grupo, de modo que una serie de registros casi idénticos se lee como un bloque.
• Filas únicas o duplicadas — Exporta lo que sobrevive, o invierte la salida y exporta solo los registros que están repetidos.
• Encabezado visible — La fila de encabezado se detecta, la herramienta dice cómo lo ha decidido, y puedes anularlo.
• Salida bajo tu control — Delimitador, fin de línea y marca de orden de bytes opcional, para que el archivo abra bien allí donde vaya después.
• No se sube nada — El archivo se lee en tu dispositivo. Nunca llega a un servidor, así que una lista de clientes sigue siendo tuya.

Es la única decisión que importa de verdad, y la mayoría de las herramientas la toman por ti. Hay dos modos, y la diferencia entre ellos suele ser la diferencia entre un resultado útil y uno destructivo.

Comparar la fila completa

Dos filas son duplicadas solo cuando todas las celdas coinciden. Es el valor por defecto seguro: solo puede eliminar una fila que sea de verdad una repetición de otra, así que es el punto de partida correcto mientras no sepas cómo se generó el archivo. También es el modo que más se deja: una marca de tiempo distinta o un espacio de más en una celda basta para que dos registros del mismo cliente parezcan diferentes.

Comparar por columnas

Marca las columnas que identifican un registro y el resto se ignora. Una sola columna es el caso habitual — un correo, un número de pedido, una referencia — pero varias juntas suelen ser más honestas: nombre, apellido y código postal identifican a una persona mejor que cualquiera de los tres por separado. Las columnas elegidas se resaltan en la tabla, porque la causa más frecuente de un resultado sorprendente es comparar por menos columnas de las previstas.

• Las celdas vacías cuentan — Un valor en blanco es un valor. Dos filas con la clave en blanco son duplicadas entre sí, lo que casi siempre es correcto y siempre es visible en la revisión.
• Las filas irregulares se completan — Las filas con menos celdas que la más ancha se rellenan, de modo que encontrar un duplicado no depende de si el exportador escribió un separador final.
• El orden nunca cambia — La fila superviviente se queda donde estaba. Nada se ordena, se mueve ni se reagrupa.

Cuando varias filas comparten clave, sobrevive exactamente una, y cuál es una decisión real y no un detalle. El propio Quitar duplicados de Excel no promete nada al respecto, y la documentación de Power Query dice explícitamente que no hay garantía de qué instancia se elige.

• Conservar la primera — Gana la aparición más temprana. Correcto cuando el archivo tiene un orden con sentido y la primera entrada es el registro original.
• Conservar la última — Gana la aparición más reciente. Correcto cuando el archivo es un registro que solo crece: una exportación donde cada cambio se escribió como una línea nueva y la última línea es el estado actual.
• La posición se preserva en ambos casos — Conservar la última no la mueve al lugar de la primera. Se queda en su propia posición, así que una comparación con el archivo original muestra eliminaciones y nada más.

La comparación exacta solo encuentra los duplicados que ya eran idénticos. Los datos reales son más desordenados, y cuatro reglas cubren la mayor parte del camino sin pedirte que calibres un umbral de similitud que no puedes ver.

Mayúsculas

Desactivada por defecto, de modo que Apple y apple se tratan como un mismo valor. Activa la distinción cuando sea significativa: códigos de producto, identificadores, cualquier cosa donde la caja forme parte del valor y no sea un accidente al teclear.

Espacios

Ignorar los espacios alrededor está activado por defecto porque un espacio inicial casi nunca es intencionado y es invisible en cualquier hoja de cálculo. Unificar espacios va más allá y trata cualquier serie de espacios dentro del valor como uno solo, de modo que Jon Smith coincide con Jon Smith. Esa está desactivada por defecto porque cambia lo que cuenta como coincidencia dentro del valor, no solo en sus bordes.

Puntuación

Ignorar la puntuación descarta los signos habituales y las comillas tipográficas que sustituye un procesador de textos. Combinada con unificar espacios hace que O'Brien, J. coincida con OBrien J: la parte barata y predecible de lo que hace un comparador difuso, sin la parte en la que un umbral fusiona en silencio a dos personas distintas.

• Cada regla se aplica en todos los modos — Las reglas afectan igual a la comparación por fila y por columnas. No hay combinación en la que una regla esté en pantalla sin hacer nada.
• El archivo nunca se modifica — La normalización ocurre solo al comparar. Las filas que se exportan son las que aportaste, carácter a carácter.
• Activa una y mira el contador — El contador de duplicados sobre la tabla se mueve en cuanto cambia una regla, que es la forma más rápida de ver si encuentra coincidencias reales o se pasa.

Una fila de encabezado debe quedar fuera de la comparación, o puede eliminarse como duplicado de una fila de datos que casualmente se le parezca. Equivocarse en la dirección contraria es peor y mucho más silencioso: tratar una fila de datos como encabezado la exime de la deduplicación para siempre, así que sobrevive por muchas veces que se repita, y nada en la salida parece incorrecto.

• Detectada, no supuesta — Una primera fila califica como encabezado cuando ninguna celda está vacía, ninguna se lee como número o fecha, ninguna etiqueta se repite y las filas de debajo parecen datos. Un archivo con una sola fila no tiene encabezado.
• La decisión se muestra — La herramienta indica junto al control cómo ha resuelto la detección automática, para que nunca tengas que deducirlo del recuento de filas.
• Siempre anulable — Ponla en sí o en no cuando tu archivo sea inusual. Un encabezado es una afirmación sobre tus datos, y una heurística no tiene la última palabra.
• Los encabezados nunca cuentan como duplicados — Cuando hay encabezado se pasa intacto y queda excluido de todos los recuentos.

Eliminar filas no tiene vuelta atrás una vez que el original ha desaparecido, y un resumen que dice 44.063 duplicados eliminados no dice nada sobre si eran los 44.063 correctos. La tabla de revisión es la respuesta a eso, y es gratis.

• Cada fila lleva un veredicto — Conservada o Eliminada, como etiqueta junto a la fila. Las eliminadas van tachadas, así que la forma de la eliminación se ve de un vistazo.
• Los grupos van tenidos — Las filas que coinciden comparten color de fondo e indican cuántas hay en el grupo, de modo que cinco registros casi idénticos se leen como un bloque y no como cinco filas inconexas.
• Vista de solo duplicados — Un archivo de 200.000 filas con nueve duplicados es ilegible entero y evidente filtrado. Un botón alterna entre el archivo completo y solo las filas que están en un grupo duplicado.
• Las columnas clave están marcadas — Las columnas de las que depende la comparación se resaltan en la cabecera, lo que suele bastar por sí solo para explicar un resultado sorprendente.
• Cuatro contadores en vivo — Filas totales, filas únicas, duplicados encontrados y grupos duplicados, actualizándose mientras cambias una regla.

Un archivo de 10 MB con 146.000 filas se lee y compara en aproximadamente una décima de segundo, fuera del hilo principal, de modo que la página nunca se congela.

Las filas limpias solo sirven si el archivo abre correctamente en lo que lo lea después, así que la forma de escribirlo la eliges tú en lugar de heredarla en silencio de la entrada.

• Filas únicas o duplicadas — Exporta lo que sobrevive, o invierte la salida y exporta todas las filas de un grupo duplicado, incluida la que se habría conservado, porque un grupo sin su primer miembro no es un grupo.
• Delimitador — Mantén el delimitador del archivo, o escribe coma, punto y coma, tabulación o barra vertical al margen de lo que entró.
• Fin de línea — LF para todo lo de estilo Unix, CRLF para las herramientas de Windows que no aceptan otra cosa.
• Marca de orden de bytes — Excel en Windows abre un CSV UTF-8 sin marca como Windows-1252 y destroza cada acento. Añadirla lo arregla, y está desactivada por defecto porque confunde a otros lectores.
• El entrecomillado se repara al salir — Los valores con el delimitador, una comilla, un salto de línea o un espacio inicial significativo se entrecomillan correctamente, de modo que el archivo sobrevive a una ida y vuelta aunque el original no lo hiciera.
• Las filas descartadas, con Pro — Un segundo archivo con exactamente las filas que la exportación dejó fuera: los dos juntos siempre vuelven a sumar lo que aportaste.

Las filas duplicadas rara vez son un problema cosmético. Inflan los números sobre los que se decide y provocan fallos visibles más adelante.

• Los recuentos dejan de mentir — Cualquier total, media o agrupación calculada sobre un archivo con repeticiones está equivocada en exactamente esas repeticiones, y lo está en una dirección que nadie comprueba.
• Las importaciones dejan de fallar — Una restricción de unicidad sobre un correo o un identificador rechaza el lote entero en la primera repetición. Deduplicar antes convierte una importación fallida en una correcta.
• Nadie recibe dos correos — Una lista de contactos con repeticiones envía el mismo mensaje a la misma persona más de una vez, lo que cuesta bajas y, en algunas jurisdicciones, algo más.
• Los archivos se hacen más pequeños — Que un tercio de una exportación de clientes sean repeticiones no es raro. Quitarlas hace más rápido cada paso posterior y más barato mover cada archivo.
• Las fuentes combinadas se vuelven usables — Dos exportaciones concatenadas siempre se solapan. Deduplicar por una clave común es lo que convierte esa concatenación en un único conjunto limpio.

• Ordenar CSV
• Filtrar CSV
• Combinar CSV
• Herramientas CSV