pd.read_csv｜オプション含めた実例を多数紹介

（最終更新日：2023年12月）

✔当記事はこんな方に向けて書かれています

「pd.read_csvって何に利用できるのだろう？」
「pd.read_csvの使い方を学びたい」
「pd.read_csvの具体的な使用例を知りたい」

✔当記事でお伝えする内容

• pd.read_csvの基本的な説明
• pd.read_csvの使い方やその応用方法
• pd.read_csvの活用例を具体的に示す

当記事では、pd.read_csvの基本的な使い方からオプションの活用法まで、具体的な例を交えて詳細に解説します。

ぜひ最後までお読みいただき、pd.read_csvを効果的に使いこなせるようになってください。

データ分析必須ツール、Pandasの紹介

こちらでは、「Pandas」についてお伝えしていきます。

Pandasについて理解することは、データ分析を効率的に進めるために非常に重要です。

• Pandasとは何か、そのメリット
• Pandasの主な機能と特徴
• pdって何？

Pandasとは何か、そのメリット

PandasはPythonのライブラリで、データ操作や分析を容易におこなうための高性能なデータ構造を提供するものです。

このツールを使用すると、大量のデータを効率的に処理し、各種の統計的操作をおこなえます。

例えば、以下のような一般的なデータ操作が容易になります。

• データのクリーニング
• 結合
• 分割
• 集計
• フィルタリング

Pandasの主な機能と特徴

Pandasの主な機能は、データフレームと呼ばれる2次元の表形式のデータ構造の操作です。

データフレームは、ExcelのスプレッドシートやSQLのテーブルのように、異なる型の列を持てます。

PandasはCSVやExcelなどの一般的なファイル形式からデータを読み込む機能や、データの視覚化をサポートする機能も備えています。

pdって何？

pdとは、pandasライブラリをインポートする際の慣習的な名前です。

import pandas as pd

pandasのメソッドを使う際、毎回「pandas」と打ち込むのではなく、pdからはじめられるようになります。

「pd.read_csv」と「pd.read_table」の違い

ここでは、Pandasの2つの重要な関数、「pd.read_csv」と「pd.read_table」の違いについてお伝えします。

これらの関数を理解することで、データの読み込みにおけるさまざまなヒントを得られるでしょう。

• pd.read_csvとは
• pd.read_tableとの主な違い

pd.read_csvとは

「pd.read_csv」は、CSV（Comma-Separated Values）形式のファイルを読み込み、データフレームとして扱うことを可能にするメソッド。

この関数を使用すると、各種のオプションを利用して、データの読み込みを細かく制御することが可能です。

pd.read_tableとの主な違い

「pd.read_table」も「pd.read_csv」と同様にテキストファイルをデータフレームとして読み込む関数です。

ただし、デフォルトの区切り文字が異なります。

• 「pd.read_csv」: デフォルトでコンマ（,）を区切り文字とする
• 「pd.read_table」: タブ（\t）を区切り文字とする

Pythonの環境設定とCSVファイルの準備

ここでは、PythonとPandasの環境設定、そしてCSVファイルの準備について詳しく説明します。

これらの準備を整えることで、データ分析作業をスムーズにおこなえるでしょう。

• PythonとPandasのセットアップ
• CSVファイルの作成と利用

PythonとPandasのセットアップ

Pythonの環境設定は非常に重要で、最初にPythonのインストールをおこないます。

Pythonの公式サイトからダウンロードし、インストールが完了したら、pandasをインストールしましょう。

パンダスはPythonのパッケージ管理システム「pip」を使用して簡単にインストールが可能。

コマンドライン上で以下を入力・実行してください。

pip install pandas

CSVファイルの作成と利用

CSVファイルは、各種のデータ分析作業に広く用いられます。

ExcelやGoogleスプレッドシートなどで作成することが可能で、データがコンマで区切られたテキストファイルです。

この形式のファイルはpandasで容易に読み込むことが可能で、データフレームとして扱えます。

CSVデータの読み込み

ここでは、CSVデータの読み込み方について説明します。

データフレームの作成方法には、ヘッダーやインデックスの有無による違いがあることを理解しておきましょう。

• ヘッダーなしCSVの読み込み
• ヘッダー付きCSVの読み込み
• インデックス付きCSVの読み込み

ヘッダーなしCSVの読み込み

ヘッダー（列名）がないCSVファイルを読み込む場合、‘pd.read_csv’関数の’header’パラメータをNoneに設定。

これにより、データフレームの列名が自動的に0から始まる整数値に設定されます。

import pandas as pd

# ヘッダーがないCSVファイルの読み込み
# 'header=None' によって、最初の行をヘッダーとして扱わずにデータとして読み込む
data = pd.read_csv('path_to_your_csv_file.csv', header=None)

# 読み込んだデータの表示（最初の数行）
print(data.head())

ヘッダー付きCSVの読み込み

ヘッダー（列名）が存在するCSVファイルを読み込む場合は、通常の’pd.read_csv’関数をそのまま使用してください。

デフォルト設定では、ファイルの最初の行がヘッダーとして認識され、その内容がデータフレームの列名となります。

インデックス付きCSVの読み込み

一部のCSVファイルでは、各行に対応するインデックスが付けられている場合があります。

このようなファイルを読み込む場合、‘pd.read_csv’関数の’index_col’パラメータを0に設定することで、最初の列をインデックスとして扱うことも可能です。

柔軟なデータ読み込み – 列と行の制御

この章ではそのような高度な読み込みテクニックについて詳しく解説します。

読み込む列や行を制御したり、特定のデータ型で読み込んだり、細かな設定が求められるからです。

• 特定の列を選んで読み込む方法
• 行をスキップして読み込む方法
• データ型(dtype)の指定による読み込み制御

特定の列を選んで読み込む方法

CSVファイルの中には多数の列を含むものがありますが、全列を分析に使用するわけではありません。

‘pd.read_csv’関数の’usecols’パラメータを使い、読み込む列の指定も可能です。

このパラメータには、列名のリストまたは列のインデックスのリストを指定します。

import pandas as pd

# 読み込む列の名前またはインデックスをリストで指定
columns_to_use = ['列A', '列B', '列C']

# 'usecols' パラメータを使用して特定の列のみを読み込む
data = pd.read_csv('path_to_your_csv_file.csv', usecols=columns_to_use)

# 読み込んだデータの表示（最初の数行）
print(data.head())

行をスキップして読み込む方法

同様に、全ての行が必要でない場合もあります。

特定の行を読み込みから除外したい場合、‘pd.read_csv’関数の’skiprows’パラメータを使用しましょう。

このパラメータにはスキップしたい行のインデックスをリスト形式で指定します。

import pandas as pd

# スキップしたい行のインデックスをリストで指定（1行目と3行目をスキップ）
rows_to_skip = [0, 2]  # 0-indexed

# 'skiprows' パラメータを使用して特定の行をスキップ
data = pd.read_csv('path_to_your_csv_file.csv', skiprows=rows_to_skip)

# 読み込んだデータの表示（最初の数行）
print(data.head())

データ型(dtype)の指定による読み込み制御

データを読み込む際、特定の列を特定のデータ型として読み込みたい場合があります。

‘pd.read_csv’関数の‘dtype’パラメータを使用することで、列ごとのデータ型を辞書形式での指定が可能です。

import pandas as pd

# 列ごとのデータ型を辞書で指定
data_types = {'列A': int, '列B': float}

# 'dtype' パラメータを使用して特定の列を特定のデータ型として読み込む
data = pd.read_csv('path_to_your_csv_file.csv', dtype=data_types)

# 読み込んだデータの表示（最初の数行）
print(data.head())

欠損値NaNの取り扱い

こちらでは、欠損値NaNの取り扱いについて詳しく見ていきましょう。

欠損値はデータ分析の際にしばしば遭遇する課題であり、pandasはそれを便利に扱うための機能を提供しています。

• 自動的にNaNとして認識される値一覧
• 追加の欠損値設定: 引数na_valuesの利用
• 既存の値を欠損値に指定: 引数na_valuesとkeep_default_naの活用
• NaNフィルターの利用: 引数na_filterの活用

自動的にNaNとして認識される値一覧

pandasでは、特定の値をデフォルトで欠損値(NaN)として認識します。

これには空白や特殊な文字列（例えば’#N/A’、’#N/A N/A’、’#NA’等）が含まれます。

追加の欠損値設定: 引数na_valuesの利用

データによっては、特殊な値を欠損値として扱いたい場合があります。

このような場合には、‘pd.read_csv’関数の’na_values’パラメータを利用しましょう。

以下のコードは、’Unknown’という値をNaNとして扱う例です。

df = pd.read_csv('filename.csv', na_values=['Unknown'])

既存の値を欠損値に指定: 引数na_valuesとkeep_default_naの活用

特定の値を欠損値として扱いたい場合、引数’na_values’と’keep_default_na’を併用できます。

‘keep_default_na’をTrueに設定すると、デフォルトの欠損値リストに’na_values’で指定した値が追加されます。

df = pd.read_csv('filename.csv', na_values=['Unknown'], keep_default_na=True)

NaNフィルターの利用: 引数na_filterの活用

全データが数値で欠損値が存在しない場合、パフォーマンス向上のために欠損値チェックをスキップすることも可能です。

そのためには、’pd.read_csv’関数の’na_filter’パラメータをFalseに設定します。

df = pd.read_csv('filename.csv', na_filter=False)

その他の便利な読み込みオプション

こちらでは、より詳細なデータ読み込みオプションについて掘り下げていきます。

これらのオプションを理解し活用することで、さまざまなデータ形式や要件に対応できるでしょう。

• エンコーディングの指定方法
• 圧縮ファイル（zipなど）の読み込み
• ウェブ上のファイルの読み込み
• 「pd.read_csv」の応用: TSVファイルの読み込み

エンコーディングの指定方法

データが異なる文字コードで保存されている場合、’pd.read_csv’関数の’encoding’パラメータを使ってエンコーディングを指定しましょう。

例えば、UTF-8でエンコードされたファイルを読み込むには以下のようにします。

df = pd.read_csv('filename.csv', encoding='utf-8')

圧縮ファイル（zipなど）の読み込み

pandasは、圧縮ファイルを直接読み込むことも可能です。

そのためには、’pd.read_csv’関数の’compression’パラメータを適切な形式（’gzip’、’bz2’、’zip’、’xz’）に設定します。

df = pd.read_csv('filename.csv.zip', compression='zip')

ウェブ上のファイルの読み込み

ウェブ上にあるCSVファイルを直接読み込むことも可能です。

URLを’pd.read_csv’関数に指定します。

df = pd.read_csv('http://example.com/filename.csv')

「pd.read_csv」の応用: TSVファイルの読み込み

‘pd.read_csv’関数はCSVファイルだけでなく、タブ区切り（TSV）や他のデリミタで区切られたファイルの読み込みにも使用できます。

このためには、’delimiter’または’sep’パラメータに適切な文字を指定します。

df = pd.read_csv('filename.tsv', delimiter='\t')

よくあるエラーとその対処法

この章では、データを読み込む際にしばしば遭遇する一般的なエラーと、その解決策について説明します。

また、トラブルシューティングのためのいくつかの技巧についても見ていきましょう。

• 一般的なエラーとその解決策
• トラブルシューティングの裏ワザ

一般的なエラーとその解決策

データ分析においてよく遭遇するエラーのひとつが、文字列中に予期せぬカンマが含まれていることによるパースエラーです。

これは、クォートで囲まれたフィールド内にカンマが含まれているときに発生します。

解決策としては、引数’quotechar’を使って適切なクォート文字を指定すること。

df = pd.read_csv('filename.csv', quotechar='"')

別の一般的なエラーは、ファイルのエンコーディング問題によるものです。

この場合、引数’encoding’を使って適切なエンコーディングを指定します。

トラブルシューティングの裏ワザ

エラーが発生した場合、全体を読み込むのではなく、まずはデータの一部を読み込むことで問題の特定を容易にします。

‘pd.read_csv’関数の’nrows’パラメータを使って、読み込む行数を制限できます。

df = pd.read_csv('filename.csv', nrows=5)

また、’verbose’パラメータをTrueに設定することで、詳細なパース情報を得ることも可能です。

この情報は、問題の診断に役立つ可能性があります。

df = pd.read_csv('filename.csv', verbose=True)

まとめ

pandasの「pd.read_csv」機能は非常に強力で、実用的なツールです。

それは、大量のデータを効率的に読み込み、整形、解析できるから。

以下のような多岐にわたる柔軟なオプションを提供しています。

• ファイルのエンコーディング
• デリミタの指定
• 欠損値の処理
• 列や行の選択

しかし、pandasの可能性はこれだけにとどまりません。

より高度なデータ分析を進めるには、データのクレンジングやデータ変換、集約、ビジュアライゼーションなど、他のpandasの機能を学び、活用することが重要です。

また、大規模なデータを扱う際には、パフォーマンスを改善するための技術も必要になります。

たとえば、’chunksize’パラメータを利用してデータをチャンクに分けて読み込む方法、または’dtype’パラメータを利用してデータ型を指定してメモリを節約する方法などがあります。

データ分析の旅は、データを適切に読み込み、理解することから始まります。

そして、その過程で得られる洞察が、ビジネスや研究の価値を高め、新たな可能性を開くことでしょう。

引き続き学習を深め、データ分析のスキルを磨いていきましょう。