Herramienta para eliminar texto duplicado

La herramienta divide tu texto en unidades, construye una clave de comparación para cada una según las reglas que fijes, agrupa las unidades cuyas claves son idénticas y reconstruye el texto con una copia de cada grupo. Todo lo que viene después — qué copia sobrevive, qué muestra la salida, cómo se ordena, cómo se vuelven a unir las piezas — es una decisión que tomas sobre ese mismo índice, y por eso cambiar esos ajustes es instantáneo incluso en una lista muy grande.

Paso a paso

1. 1

   Añade tu texto

   Pega en el cuadro o suelta un archivo .txt, .csv, .tsv, .log o .md. No se sube nada: el archivo se lee en tu dispositivo.

2. 2

   Define qué es un duplicado

   Elige la unidad: líneas, palabras, párrafos o un delimitador como la coma. Después ajusta las reglas de comparación: mayúsculas, espacios, puntuación y acentos.

3. 3

   Decide qué copia sobrevive

   Conservar la primera mantiene la aparición más temprana; conservar la última mantiene la final. En ambos casos las entradas que quedan mantienen su orden original.

4. 4

   Revisa y toma el resultado

   Mira los contadores y la tabla de repeticiones, alterna entre únicas, solo duplicados y eliminadas para ver exactamente qué cambió, y luego copia o descarga.

Eliminar duplicados es una operación y varias preguntas. La mayoría de los eliminadores en línea solo responde a la primera.

• Cuenta cada repetición — la tabla de repeticiones lista cada entrada distinta con cuántas veces apareció, y se exporta como CSV.
• Muestra los duplicados en sí — cambia la salida para listar solo las entradas que se repiten, en lugar de las que no.
• Muestra lo que se eliminó — una tercera vista lista exactamente lo que borró la desduplicación, para poder revisar la operación antes de confiar en ella.
• Lee archivos, no solo pegados — suelta un archivo .txt, .csv, .tsv, .log, .md o .list; se gestionan las codificaciones y las marcas de orden de bytes.
• Divide por cualquier delimitador — una coma, un punto y coma, una barra vertical o una palabra, no solo por saltos de línea.
• Sin límite por hora — sin contador de tareas, sin cola. El trabajo ocurre en tu dispositivo.

El ajuste más importante es qué cuenta como una unidad, porque todo lo demás compara esas unidades. Cuatro opciones cubren las formas en que el texto llega realmente.

Líneas

Cada fila es una unidad. Es el modo para listas, registros, columnas exportadas, conjuntos de URL, listas de correo y todo lo que va uno por fila. Las líneas en blanco son estructura y no contenido, y nunca se comparan, así que el espaciado del documento sobrevive.

Palabras

Las unidades son secuencias sin espacios, separadas por cualquier espacio en blanco, incluidos los saltos de línea. Úsalo para extraer vocabulario, nubes de etiquetas o quitar un token repetido de un bloque de texto. El ajuste de separador de salida decide si los supervivientes vuelven como una frase, uno por línea, o con su espaciado original intacto.

Párrafos

Una unidad es un bloque de líneas consecutivas no vacías, separado del siguiente por una o más líneas en blanco. Es el modo para secciones repetidas en apuntes, texto repetido en borradores y documentos combinados que acabaron con el mismo pasaje dos veces. Una línea con solo espacios cuenta como vacía, porque para cualquier persona que lea el documento es una separación.

Un delimitador que tú eliges

Escribe cualquier cadena y el texto se dividirá por ella: una coma para una lista de palabras clave, un punto y coma para una celda de CSV europeo, una barra vertical para un campo de registro, o una palabra entera si es eso lo que separa tus entradas. Los supervivientes se vuelven a unir con el mismo delimitador, así que el resultado encaja de vuelta donde estaba.

Dos entradas son duplicadas cuando sus claves de comparación son idénticas. Cada regla de abajo cambia cómo se construye esa clave, y se combinan libremente, que es la diferencia entre un conjunto de interruptores y una lista fija de estrategias predefinidas.

Mayúsculas

Por defecto la comparación ignora las mayúsculas, así que 'Manzana' y 'manzana' son una sola entrada. Activa la sensibilidad cuando la diferencia importe: identificadores, hashes, código, cualquier cosa donde las mayúsculas lleven información.

Recorte de espacios

Los espacios al principio y al final se ignoran por defecto. Puedes recortar solo el principio, solo el final o nada. Recortar solo el final es el ajuste correcto para una lista con sangría, donde los espacios iniciales son la estructura que quieres conservar y los finales son ruido de la exportación.

Espacios repetidos dentro de una entrada

'Juan Pérez' y 'Juan Pérez' se diferencian en un espacio. Reducir las secuencias de espacios a uno solo antes de comparar las convierte en una entrada, algo útil para nombres, direcciones y todo lo que alguien haya escrito dos veces.

Puntuación

Ignorar la puntuación descarta los símbolos ASCII imprimibles y las cuatro comillas tipográficas que sustituye un procesador de textos, de modo que 'St. John's' y 'St Johns' coinciden. Deja intacta a propósito la puntuación de otros sistemas de escritura, porque el punto medio japonés y la coma árabe son caracteres que forman palabras y sobre los que esta herramienta no debe decidir.

Unicode compuesto y descompuesto

'café' escrito en un Mac y 'café' escrito en Windows pueden ser secuencias de bytes distintas que se ven idénticas: una guarda la letra acentuada como un solo carácter y la otra como una letra seguida de una marca combinante. Normalizar la composición hace que coincidan. Este es el duplicado que nadie ve y que casi ningún eliminador detecta.

Acentos

Ir un paso más allá y quitar las marcas por completo hace que 'resume' coincida con 'résumé' y 'Munchen' con 'München'. Úsalo cuando una lista la hayan escrito varias personas, o en parte alguien sin la distribución de teclado adecuada.

Cuando se encuentra un grupo de duplicados se conserva exactamente un miembro. Cuál es tu decisión, y las dos respuestas son realmente distintas.

• Conservar la primera — sobrevive la aparición más temprana. Correcto cuando la primera entrada es la canónica o cuando el orden de la lista era deliberado.
• Conservar la última — sobrevive la aparición final. Correcto para registros que solo crecen y exportaciones donde las filas posteriores sustituyen a las anteriores.
• El orden se mantiene igualmente — las entradas supervivientes se quedan donde estaban en el documento. Solo cambia qué copia sobrevive, nunca la secuencia de las que lo hacen.

El índice que construye la herramienta responde a tres preguntas a la vez, así que las tres son un solo control en lugar de tres herramientas.

Únicas

Cada entrada una vez: la desduplicación clásica. Es lo que te llevas cuando quieres la lista limpia en sí.

Solo los duplicados

Solo las entradas que aparecieron más de una vez, listadas una vez cada una. Esto invierte la operación: en lugar de la lista sin las repeticiones, obtienes las repeticiones. Es la forma más rápida de responder a «¿qué está duplicado aquí dentro?» sin leer el archivo entero.

Solo lo eliminado

Exactamente las apariciones que borró la desduplicación, en orden del documento. Revísalo antes de sobrescribir nada: es la diferencia entre confiar en una herramienta y verificarla.

Junto al resultado hay una tabla con cada entrada distinta y su número de repeticiones, ordenada por ese número para que las peores estén arriba. Responde a una pregunta distinta de la desduplicación: no «dame la lista sin repeticiones» sino «qué entradas se repiten, y cuánto».

• Ordena el propio resultado por número de repeticiones para poner primero las entradas más repetidas.
• Exporta la tabla completa como un CSV con marca de orden de bytes, para que se abra correctamente en Excel con los acentos intactos.
• La tabla en pantalla está limitada por el bien del navegador; el CSV exportado siempre contiene todas las filas, en cualquier plan.
• Las entradas vacías se muestran como tales y no como una fila vacía, así que un recuento de 40 líneas en blanco es visible en lugar de misterioso.

Una vez elegidos los supervivientes, tres ajustes deciden qué aspecto tiene realmente la salida. Los tres se generan desde el índice existente, así que son instantáneos incluso en un documento muy grande.

Ordenación

Déjala desactivada para mantener el orden del documento, u ordena de A-Z, en orden natural (para que 'item2' vaya antes que 'item10'), por longitud o por número de repeticiones. Todas las ordenaciones deshacen los empates por la posición original, así que la misma entrada con los mismos ajustes siempre produce el mismo archivo.

Cómo se unen las piezas

Las líneas se unen con saltos de línea, las palabras con espacios y los párrafos con líneas en blanco por defecto, pero puedes forzar cualquiera de ellos a saltos de línea, espacios, comas o tabulaciones, o pedir que se conserve exactamente el espaciado original entre cada unidad superviviente.

Finales de línea

La salida conserva el final de línea que predominaba en tu entrada, o puede forzarse a Unix (LF) o Windows (CRLF). Un archivo que terminaba con un salto de línea sigue terminando con uno, porque todo bucle de shell e importación de hoja de cálculo posterior lo espera y perderlo rompe procesos en silencio.

La versión gratuita admite hasta 25 MB de texto a la vez — unas 700 000 líneas de una exportación típica — y todos los modos, reglas de comparación, vistas de salida y exportaciones funcionan sobre ella. Nada del resultado se retiene según el plan; Pro eleva el límite a lo que tu dispositivo pueda manejar y añade lotes de varios archivos con una sola descarga comprimida.

• Todo se ejecuta en tu dispositivo. No se sube nada, y no hay cuenta, ni cola, ni límite de tareas por hora.
• Los archivos se leen como UTF-8, y las codificaciones UTF-16 u occidentales antiguas se detectan en lugar de convertirse en caracteres de sustitución.
• La marca de orden de bytes se elimina, para que tu primera entrada no quede exenta de la comparación por un carácter invisible.
• Archivos admitidos: .txt, .text, .csv, .tsv, .log, .md y .list. Cualquier otro se rechaza en el momento de elegirlo, con un enlace a la herramienta que sí puede abrirlo.
• Las entradas muy grandes están limitadas por la memoria de tu dispositivo. La vista previa en pantalla está acotada; copiar y descargar siempre llevan el resultado completo.

La desduplicación se ejecuta en tu dispositivo, fuera del hilo principal, así que una lista de 25 MB sigue respondiendo mientras trabaja.

La desduplicación borra datos. Unos pocos hábitos marcan la diferencia entre una lista limpia y una dañada en silencio.

• Mira la vista de «eliminadas» antes de sobrescribir el original. Es un clic y muestra exactamente lo que se perdería.
• Si la repetición es intencionada — poesía, código, datos de prueba, un estribillo —, comprueba el resultado en lugar de darlo por hecho.
• Los datos estructurados merecen una herramienta por columnas. Desduplicar un CSV por líneas completas ignora qué columna identifica realmente una fila.
• El modo párrafos necesita líneas en blanco claras; un documento que use sangría en su lugar se leerá como un solo bloque.
• La comparación con recorte trata las variantes con espacios como la misma entrada, lo cual suele ser correcto y a veces no. Desactívala cuando los espacios sean datos.
• En un pegado muy grande, prueba los ajustes primero con una muestra: la respuesta llega antes y la decisión es la misma.

La desduplicación estructural compara claves de forma exacta según las reglas que fijes. Tres casos necesitan otra cosa.

• Casi duplicados y erratas. 'Jon Pérez' y 'John Pérez' son entradas distintas aquí y siempre lo serán: eso es coincidencia difusa, otro problema con otros modos de fallo.
• Filas donde los duplicados llevan datos distintos que necesitas combinar en lugar de descartar. Una hoja de cálculo o una base de datos puede unirlos; esta herramienta solo puede quedarse con uno.
• Unicidad definida por una columna o una clave y no por la línea entera. Usa el eliminador de duplicados de CSV, que compara por las columnas que elijas.

Para todo lo demás, desduplica primero para reducir el ruido y después ordena la salida única para revisarla, recorta espacios sobrantes o analiza rápidamente lo que queda.

• Ordenar texto
• Unir texto
• Recortar espacios
• Dividir texto
• Analizador de texto
• Eliminar filas CSV duplicadas