重复行高亮检测器
粘贴多行文本,检测并高亮标记重复行,支持忽略大小写和忽略首尾空格,标记首次出现和第N次出现并统计重复次数。
免费在线工具
Loading…
使用说明
在文本框中粘贴多行文本(每行一条),点击「检测重复行」即可分析。两个开关选项可调整检测行为:
- 忽略大小写:勾选后 "Apple"、"apple"、"APPLE" 视为相同内容
- 忽略首尾空格:勾选后 " hello " 和 "hello" 视为相同内容
结果区域顶部显示统计概览:总行数、不重复行数、重复行数(总计出现次数不是不同内容数)、重复组数。
下方逐行展示分析结果,用颜色区分:黄色背景标记该重复内容的第一次出现(标注「第1次」和总共出现的次数),红色背景标记后续重复出现(标注「第N次」),无背景色的为唯一行。
点击「加载示例」可快速填入一段包含多种重复情况的测试文本,覆盖普通重复、大小写变体、前后空格等场景。
功能介绍
与本站已有的 text-deduplicator(直接去重输出唯一结果)不同,本工具的核心价值是「标记与统计」而非「删除」。它帮用户看到哪些行重复了、分别出现在哪些位置、重复了多少次——这对数据质控和排查问题特别有用,而不仅仅是得到一个去重后的结果。
两个可组合的匹配选项使检测更加灵活:忽略大小写适合处理格式不统一的日志或列表数据,忽略首尾空格适合处理从网页/文档粘贴时带有多余空白的文本。
结果用颜色编码让重复行一目了然:第一次出现用黄色标出并显示总次数方便定位,后续重复用红色标记方便识别哪些行是「多余的」,唯一行保持干净无背景色。
使用场景
数据排重前分析
在去重之前先看看到底哪些行重复了、各重复了多少次,决定是否需要去重、用哪种策略去重。
日志审查
分析日志文件中哪些错误信息重复出现,快速定位高频问题。
常见问题
和已有的 text-deduplicator 工具有什么区别?
text-deduplicator 是直接去重输出唯一结果,不显示哪些行被去掉了、出现了几次。本工具不做删除,而是标记每一行是否重复、第几次出现、总共出现次数。两者互为补充:想知道去重后的内容用那个,想分析到底哪些重复了、重复了多少次用这个。
忽略大小写和忽略空格可以同时开启吗?
可以。两个选项独立运作,同时开启时会先将每行首尾空格去除、再转为小写后比较,这意味着 " Hello " 和 "hello" 会被视为相同内容。
重复统计是基于原行还是规范化后的行?
统计是基于规范化后的行进行的(取决于是否勾选忽略大小写/首尾空格),但显示区域依然展示每行的原始文本内容,方便阅读。