【簡単】SQLの重複削除方法を丁寧に解説

（最終更新月：2023年5月）

✔以下の疑問をお持ちの方へ向けた記事です

「SQLで重複を削除する方法は何だろうか？」

「SQLの重複削除の具体的な手法を学びたい」

「SQLでの重複削除の具体的な使用例を見て理解したい」

✔この記事を読むことで得られる知識

SQLでの重複削除の基本的な手法
重複削除の応用法
SQLでの重複削除に関する具体的な例

この記事では、SQLでの重複削除の基本的な手法から、その応用法まで、具体的な例を交えて詳細に説明します。

ぜひ最後までお読みください。

筆者プロフィール

【現職】プロダクトマネージャー

【副業】ブログ（月間20万PV）/YouTube/Web・アプリ制作

「プログラミング × ライティング × 営業」の経験を活かし、30後半からのIT系職へシフト。現在はプロダクトマネージャーとして、さまざまな関係者の間に入り奮闘してます。当サイトでは、実際に手を動かせるWebアプリの開発を通じて、プログラミングはもちろん、IT職に必要な情報を提供していきます。

【当ブログで紹介しているサイト】

当サイトチュートリアルで作成したデモ版日報アプリ

Django × Reactで開発したツール系Webアプリ

✔人に見せても恥ずかしくないコードを書こう

「リーダブルコード」は、わかりやすく良いコードの定義を教えてくれる本です。

見るからにきれいなコードの書き方
コードの分割方法
変数や関数の命名規則

エンジニアのスタンダートとすべき基準を一から解説しています。

何回も読むのに値する本なので、ぜひ手にとって読んでみてください。

リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック

created by Rinker

SQLの基本概念

このセクションでは、SQLとデータベースついての基礎知識をご覧いただきます。

まずは基本を理解して、応用へと進みましょう。

データベースとは
SQLとは
データの重複とは
なぜデータの重複が問題なのか

データベースとは

データベースは、データを整理して格納するためのシステムです。

データベースにはさまざまなタイプがありますが、SQLはリレーショナルデータベースと呼ばれる特定のタイプを操作するために最も広く使用される言語です。

SQLとは

SQL（Structured Query Language）は、データベースの操作と問い合わせに使用されるプログラミング言語です。

データの挿入、更新、削除、検索など、データベースに対するさまざまな操作を実行するための命令を提供します。

SQLは標準化されており、ほとんどのリレーショナルデータベース管理システム（RDBMS）で使用できます。

データの重複とは

データの重複とは、同一または非常に類似したデータがデータベース内の一つ以上の位置に存在する状態を指します。

これは、同じ値が同じフィールドに複数回登録される形で最も一般的に発生します。

なぜデータの重複が問題なのか

データの重複が問題な理由はこちら。

データ分析の結果を歪める
データの一貫性と整合性を損なう
重複データはストレージを無駄に消費し、データベースのパフォーマンスを低下させる

DISTINCT句とは

このセクションでは、重複データの削除に頻繁に使用されるSQLのDISTINCT句について詳しく説明します。

DISTINCT句の定義
DISTINCT句の基本的な書式
DISTINCT句の使用例
DISTINCTを使用しない場合と使用した場合の比較

DISTINCT句の定義

DISTINCT句はSQLの一部で、問い合わせ結果から重複する行を除去します。

これにより、各行が一意（ユニーク）になるのです。

以下の記事でも詳しく解説しています。

DISTINCT句の基本的な書式

DISTINCT句はSELECTステートメントの直後に配置されます。

SELECT DISTINCT column_name FROM table_name;

この例では、「table_name」テーブルから重複なしの「column_name」のデータを選択します。

DISTINCT句の使用例

DISTINCT句の使用例を見てみましょう。

例えば、”employees”テーブルがあり、”department”列には各従業員の部署が記載されているとします。

SELECT DISTINCT department FROM employees;

各部署が一度だけ表示され、重複は除去されます。

DISTINCTを使用しない場合と使用した場合の比較

DISTINCTを使用しない場合、データベースから取得した全ての行がそのまま表示されます。

以下は重複する部署も全て表示されるクエリです。

SELECT department FROM employees;

これを以下のようにすることで、各部署は一度だけ表示され、重複は取り除かれます。

SELECT DISTINCT department FROM employees;

GROUP BY句とHAVING句の使用

このセクションでは、重複データの検出に使う別のSQLの機能、GROUP BY句とHAVING句について説明します。

GROUP BY句とHAVING句の定義と使用例
GROUP BY句を用いた重複データの検出

GROUP BY句とHAVING句の定義と使用例

GROUP BY句は、特定の列の値に基づいて行をグループ化します。

これにより、各グループに対して集約関数（SUM、COUNTなど）を適用できます。

一方、HAVING句はGROUP BY句と組み合わせて使用され、グループの条件を指定します。

SELECT department, COUNT() FROM employees GROUP BY department HAVING COUNT() > 1;

これは、同じ部署に2人以上の従業員がいる部署を見つけるためのクエリです。

GROUP BY句を用いた重複データの検出

SELECT department, COUNT() FROM employees GROUP BY department HAVING COUNT() > 1;

上記の例では、重複するデータを検出することが可能。

「department」列の値に基づいて行をグループ化し、各グループの行数（つまり、各部署の従業員数）を計算します。

その後、HAVING句を用いて、行数が2以上のグループ（つまり、同じ部署に2人以上の従業員がいる部署）を選択します。

サブクエリと自己結合を用いた重複削除

このセクションでは、サブクエリと自己結合を用いた重複データの削除方法を学びます。

サブクエリの基本概念
自己結合の説明と使用例
サブクエリと自己結合を組み合わせた重複の削除

サブクエリの基本概念

サブクエリは、別のSQLクエリの内部で実行されるクエリです。

サブクエリは主クエリの結果を更にフィルタリングしたり、主クエリの一部としてのデータを提供したりするために使用します。

サブクエリは括弧内に書かれ、主クエリの各部分（SELECT、FROM、WHERE、など）に配置することが可能です。

自己結合の説明と使用例

自己結合は、テーブルが自分自身と結合されるSQLの概念です。

自己結合は一般的に、同じテーブル内の行間の関係を調べるために使用されます。

SELECT A.employee_name, B.employee_name FROM employees A, employees B WHERE A.department = B.department AND A.employee_name != B.employee_name;

このクエリは、同じ部署に所属する異なる従業員の組み合わせを取得します。

サブクエリと自己結合を組み合わせた重複削除

サブクエリと自己結合を組み合わせることで、重複データの削除が可能になります。

例えば、以下のクエリは「employees」テーブルから重複した行を削除します。

DELETE FROM employees WHERE employee_id IN (SELECT employee_id FROM (SELECT employee_id, ROW_NUMBER() OVER(PARTITION BY department, employee_name ORDER BY employee_id) AS rn FROM employees) t WHERE t.rn > 1);

各部署の各従業員に対して一意の行番号（rn）を割り当て、行番号が1より大きい行（つまり、重複する行）を削除しています。