文本去重

在线文本去重工具，按行去重并保留首次出现的顺序。支持同时统计每行重复次数，适合清洗批量导入的用户名列表、去重爬虫采集结果、整理导出的大型 ID 数据集。

文本去重工具按“每一行”作为最小单位执行去重，适合整理名单、日志、标签列表、域名列表、手机号清单和批量导出的文本结果。你只需要粘贴多行内容，页面就会自动保留首次出现的行，并实时输出去重后的结果，适合在复制数据后先做一轮快速清洗。

当前去重规则

页面会按照换行拆分内容，逐行比较是否重复，而不是按词语或字符去重。
默认保留第一次出现的顺序，后续重复行会被移除，因此输出顺序通常与原始首个出现顺序一致。
空行也会参与去重，所以多个空白行最终通常只会保留一个。

什么时候用

整理用户名单、标签、SKU、域名、邮箱或手机号等“一行一条”的列表数据。
清洗日志、爬取结果、导出明细或人工汇总文本中的重复记录。
在导入表格、脚本或后台系统前，先快速去掉明显重复项。

使用注意

当前比较方式是严格按原始文本匹配，大小写不同、前后空格不同都会被视为不同内容。
如果你希望忽略空格、统一大小写或去掉前缀后再比较，建议先做文本清洗再放入本页去重。
本页更适合“逐行列表去重”，不适合处理复杂表格字段比对、模糊匹配或语义级合并。