重複行削除ツール

リファレンス

重複行の削除の仕組み

このツールはテキストを1行ずつ処理し、各ユニークな行の最初の出現のみを保持します。重複検出はO(1)ルックアップのハッシュセットを使用し、数千行の大きなテキストでも高速に動作します。行の元の順序は保持されます（ソートを有効にしない限り）。

オプションの説明

大文字小文字を区別 — 有効時（デフォルト）、「Hello」と「hello」は別の行として扱われます。無効にすると大文字小文字に関係なく重複として扱います。空白をトリミング — 有効時（デフォルト）、比較前に先頭と末尾の空白/タブを削除します。出力をソート — ユニークな行をアルファベット順にソートします。

一般的な使用例

データクリーニング — CSVの列、ログファイル、エクスポートデータから重複エントリを削除。メールリスト — 送信前にメールアドレスや連絡先リストの重複を排除。コード整理 — 重複するimport文、CSSルール、設定エントリを削除。SEO — キーワードリストやURLリストの重複を排除。スプレッドシート — ExcelやGoogleスプレッドシートに再インポートする前にデータの列を整理。

プライバシー

すべてのテキスト処理はブラウザで100%実行されます。データはサーバーに送信されません。