【超便利】PythonのPickleでデータ形式を変換

（最終更新月：2023年7月）

✔このような方へ向けて書かれた記事となります

「PythonのPickleとは何か知りたい」

「Pickleの使い方や実装方法を学びたい」

「実際にPickleを利用したサンプルが見たい」

✔当記事を通じてお伝えすること

PythonのPickleの概要
Pickleの使い方や実装方法
Pickleを活用した具体的な例

当記事では、PythonのPickleの基本から、実際に使用する方法やその応用例まで、わかりやすい形でしっかりと解説しています。

ぜひ最後までお読みいただき、PythonのPickleをマスターしましょう。

筆者プロフィール

【現職】プロダクトマネージャー

【副業】ブログ（月間20万PV）/YouTube/Web・アプリ制作

「プログラミング × ライティング × 営業」の経験を活かし、30後半からのIT系職へシフト。現在はプロダクトマネージャーとして、さまざまな関係者の間に入り奮闘してます。当サイトでは、実際に手を動かせるWebアプリの開発を通じて、プログラミングはもちろん、IT職に必要な情報を提供していきます。

【当ブログで紹介しているサイト】

当サイトチュートリアルで作成したデモ版日報アプリ

Django × Reactで開発したツール系Webアプリ

✔人に見せても恥ずかしくないコードを書こう

「リーダブルコード」は、わかりやすく良いコードの定義を教えてくれる本です。

見るからにきれいなコードの書き方
コードの分割方法
変数や関数の命名規則

エンジニアのスタンダートとすべき基準を一から解説しています。

何回も読むのに値する本なので、ぜひ手にとって読んでみてください。

リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック

created by Rinker

¥2,640 (2024/11/23 13:53:32時点 Amazon調べ-詳細)

Pythonでpickeを扱うための前提知識

こちらでは、PythonのPickleについてお伝えしていきます。

PythonのPickleとは
Pickleの利点と適用シーン
シリアライズ化とは

PythonのPickleとは

Pickleは、Pythonの標準ライブラリの一部で、Pythonオブジェクトをバイトストリームにシリアライズ（変換）し、その逆のデシリアライズもおこなえるもの。

これにより、Pythonオブジェクトをファイルに保存したり、ネットワークを介して送受信が可能です。

Pickleは、リスト、辞書、カスタムクラスなど、多くのPythonオブジェクトをサポートしています。

シリアライズ化とは

シリアライズ（シリアライゼーション、シリアライズ化）は、データ構造やオブジェクトの状態をバイトストリームや文字列など、一連の連続したデータ形式に変換するプロセスのこと。

シリアライズ化の主な目的は、複雑なデータ構造やオブジェクトを、簡単に保存、送信、または再構築（デシリアライズ）できる形式に変換することです。

シリアライズ化は、以下のようなデータ交換において、中心的な役割を果たしているのです。

分散システム
キャッシュ
データベース
HTTPリクエスト
リモートプロシージャ呼び出し
その他の形態のデータ交換

一例として挙げられるのは、JSON（JavaScript Object Notation）やXMLといったデータ交換形式です。

これらはテキストベースのシリアライゼーション形式で、オブジェクトを人間が読みやすいテキスト形式にシリアライズします。

Pickleの利点と適用シーン

Pickleの主な利点は、Pythonオブジェクトの状態を保存して後で再利用できることです。

大規模なデータ処理や機械学習モデルの学習結果の保存に非常に役立ちます。

異なるPythonスクリプト間で、データの共有も簡単です。

Pickleと他のPythonモジュール

こちらでは、Pickleと他のPythonモジュールとの比較をお伝えします。

marshalとの比較
jsonとの比較

marshalとの比較

marshalも、Pythonのシリアライズモジュールのひとつです。

Pickleとは異なり、Pythonの.pycファイルの生成など、Pythonの内部で使用されることが主な役割。

marshalはPickleよりも高速ですが、APIが安定していないため、異なるPythonバージョン間での互換性がありません。

Pickleはより柔軟で、異なるバージョンのPythonでも使用できます。

jsonとの比較

jsonモジュールは、JSON形式のデータを扱うためのものです。

JSONはテキストベースで、多くのプログラミング言語でサポートされているため、異なる言語間でのデータ交換に適しています。

対してPickleはPython専用で、より複雑なPythonオブジェクトを扱えるのが特徴。

セキュリティ上の理由から、信頼できないソースからのPickleデータは避けるべきですが、JSONはテキストベースなので、比較的安全だといえるでしょう。

Pickleを使う準備

こちらでは、Pickleを使うための準備について説明します。

Python環境のセットアップ
Pickleモジュールのインポート

Python環境のセットアップ

Pickleを使用するためには、Pythonがインストールされていることが必要です。

Pythonは公式ウェブサイトからダウンロードできます。

Python 3.xバージョンが推奨されます。

PickleはPythonの標準ライブラリに含まれているため、追加でのインストールは不要です。

Pickleモジュールのインポート

Pickleモジュールを使用するには、スクリプトの冒頭で次のようにインポートします。

import pickle

Pickleモジュールの関数やメソッドが使用可能です。

PythonオブジェクトをPickle化する

こちらでは、PythonオブジェクトをPickle化する方法について説明します。

オブジェクトのシリアライズ方法
オブジェクトのシリアライズ例

オブジェクトのシリアライズ方法

Pickleでは、Pythonオブジェクトをpickle.dump()関数を使用してバイトストリームに変換（シリアライズ）できます。

この関数は2つの引数を取ります。

1つ目はpickle化するオブジェクト、2つ目はpickleデータを書き込むためのファイルオブジェクトです。

ファイル保存モード
wモードとwbモードの違い

ファイル保存モード

Pickleデータを保存する際は、ファイルをバイナリ書き込みモードで開くことが重要です。

Pythonでは、’w’モードはテキスト書き込み、’wb’モードはバイナリ書き込みを意味します。

import pickle

# 保存するデータ
data = {"name": "John", "age": 30, "city": "New York"}

# バイナリ書き込みモードでファイルを開く
with open("data.pickle", "wb") as f:
    # データをバイナリ形式でファイルに保存
    pickle.dump(data, f)

wモードとwbモードの違い

ファイルを書き込む際のモードの違いはこちらです。

テキストモード（’w’）：ファイルに書き込む前にPythonが文字列を特定のエンコーディング（デフォルトはUTF-8）でエンコードする
バイナリモード（’wb’）：データがそのままの形でファイルに書き込まれる

Pickleデータはバイナリ形式なので、ファイルを’wb’モードで開く必要があります。

# バイナリ書き込みモードでファイルを開く
with open("data.pickle", "wb") as f:
    # データをバイナリ形式でファイルに保存
    pickle.dump(data, f)

オブジェクトのシリアライズ例

ここでは、さまざまなPythonオブジェクトのシリアライズの例を見てみましょう。

初心者向けの簡単なオブジェクト
リストや辞書などの複雑なオブジェクト

初心者向けの簡単なオブジェクト

こちらは、数値や文字列などの基本的なPythonオブジェクトをシリアライズする簡単な例です。

import pickle

# シリアライズするオブジェクト
simple_data = {'name': 'John', 'age': 30, 'is_employee': True}

# ファイルをバイナリ書き込みモードで開く
with open('simple_data.pkl', 'wb') as file:
    pickle.dump(simple_data, file)

リストや辞書などの複雑なオブジェクト

リストや辞書など、より複雑なPythonオブジェクトも同様にシリアライズできます。

import pickle

# シリアライズするオブジェクト
complex_data = [{'name': 'John', 'skills': ['Python', 'Java']}, {'name': 'Jane', 'skills': ['C++']}]

# ファイルをバイナリ書き込みモードで開く
with open('complex_data.pkl', 'wb') as file:
    pickle.dump(complex_data, file)

Pickle化されたデータをPythonオブジェクトに戻す

こちらでは、Pickle化されたデータをPythonオブジェクトに戻す方法を説明します。

オブジェクトのデシリアライズ方法
オブジェクトのデシリアライズ例

オブジェクトのデシリアライズ方法

pickle.load()関数を使用して、Pickle化されたデータをPythonオブジェクトにデシリアライズできます。

この関数は、Pickleデータが格納されているファイルオブジェクトを引数として取ります。

ファイル読み込みモード
rモードとrbモードの違い

ファイル読み込みモード

Pickleデータを読み込む際は、ファイルをバイナリ読み込みモードで開くことが重要です。

‘r’モードはテキスト読み込み、’rb’モードはバイナリ読み込みを意味します。

import pickle

# バイナリ読み込みモードでファイルを開く
with open("data.pickle", "rb") as f:
    # バイナリ形式で保存されたデータを復元
    data = pickle.load(f)

# 復元したデータを表示
print(data)

rモードとrbモードの違い

ファイル操作の際、rモードとrbモードの違いを理解しておきましょう。

テキストモード（’r’）：ファイルから読み込んだデータが特定のエンコーディングでデコードされる
バイナリモード（’rb’）：データがそのままの形で読み込まれる

Pickleデータはバイナリ形式なので、ファイルを’rb’モードで開く必要があります。

オブジェクトのデシリアライズ例

次は、Pickle化されたデータをPythonオブジェクトに戻す具体的な例です。

初心者向けの簡単なオブジェクト
リストや辞書などの複雑なオブジェクト

初心者向けの簡単なオブジェクト

import pickle

# ファイルをバイナリ読み込みモードで開く
with open('simple_data.pkl', 'rb') as file:
    # デシリアライズ
    data = pickle.load(file)

print(data) # 出力: {'name': 'John', 'age': 30, 'is_employee': True}

リストや辞書などの複雑なオブジェクト

import pickle

# ファイルをバイナリ読み込みモードで開く
with open('complex_data.pkl', 'rb') as file:
    # デシリアライズ
    data = pickle.load(file)

print(data) # 出力: [{'name': 'John', 'skills': ['Python', 'Java']}, {'name': 'Jane', 'skills': ['C++']}]

Pickleファイルが開けないときの対策

Pickleファイルが開けない場合、さまざまな原因が考えられます。

ファイルが存在しない、アクセス権限がない、またはデータが破損しているなどです。

具体的な例を挙げます。

例えば、以下のようなPickleファイルが存在しているとします。

import pickle

# PythonオブジェクトをPickle形式で保存する
data = [1, 2, 3, 4, 5]
with open("data.pickle", "wb") as f:
    pickle.dump(data, f)

このPickleファイルを読み込むコードを書いてみますが、ファイルが存在しない場合やアクセス権限がない場合、エラーメッセージが表示されます。

import pickle

try:
    # バイナリ読み込みモードでファイルを開く
    with open("non_existent_file.pickle", "rb") as f:
        # バイナリ形式で保存されたデータを復元
        data = pickle.load(f)

except FileNotFoundError:
    print("ファイルが存在しません。")
except PermissionError:
    print("アクセス権限がありません。")
except pickle.UnpicklingError:
    print("データが破損しています。")

この例では、存在しないファイルを開こうとした場合はFileNotFoundError、アクセス権限がないファイルを開こうとした場合はPermissionError、Pickleデータが壊れている場合はpickle.UnpicklingErrorというエラーメッセージが表示されます。

適切なエラーメッセージを確認し、ファイルパスやアクセス権限を修正することで、Pickleファイルを正しく読み込めます。

カスタマイズと注意点

こちらでは、Pickleのカスタマイズ方法と注意点について説明します。

クラスインスタンスのpickle化
型、関数、その他のオブジェクトに対するリダクションのカスタマイズ
アウトオブバウンドバッファの使用例
グローバル変数を制限する

クラスインスタンスのpickle化

PickleはPythonのクラスインスタンスもシリアライズできます。

ただし、クラス定義自体は保存されないため、デシリアライズ時に同じクラス定義が必要です。

外部オブジェクトの永続化
ディスパッチテーブルを理解する
状態を持つオブジェクトの扱い

外部オブジェクトの永続化

クラスインスタンスが外部リソースに依存する場合、これをpickle化するのは難しいかもしれません。

そういった場合は、__getstate__と__setstate__メソッドを使用して、インスタンスの状態をカスタマイズできます。

import pickle

class ExternalResourceDependentClass:
    def __init__(self, data):
        self.data = data
        self.external_resource = None  # 外部リソースを初期化

    def connect_to_external_resource(self, resource_url):
        # 外部リソースに接続する処理（ここでは省略）
        print("Connected to external resource:", resource_url)
        self.external_resource = resource_url

    def get_data_from_external_resource(self):
        # 外部リソースからデータを取得する処理（ここでは省略）
        print("Getting data from external resource...")
        return "Data from external resource"

    def __getstate__(self):
        # pickle化する前に状態をカスタマイズする
        # 外部リソースの状態を除外し、pickle化する前にデータを取得して保存する
        state = self.__dict__.copy()
        state.pop('external_resource', None)  # 外部リソースの情報を削除
        state['data'] = self.get_data_from_external_resource()  # 外部リソースからデータを取得して代入
        return state

    def __setstate__(self, state):
        # pickleからの復元時に状態をカスタマイズする
        # 外部リソースに接続してデータを更新する
        self.__dict__.update(state)
        if 'external_resource' in state:
            self.connect_to_external_resource(state['external_resource'])

# クラスインスタンスを作成
obj = ExternalResourceDependentClass("Initial Data")
print("Initial data:", obj.data)

# pickle化
with open("data.pickle", "wb") as f:
    pickle.dump(obj, f)

# クラスインスタンスの外部リソースを更新
obj.connect_to_external_resource("https://example.com")
print("Updated data:", obj.data)

# pickleからの復元
with open("data.pickle", "rb") as f:
    restored_obj = pickle.load(f)

print("Restored data:", restored_obj.data)

ディスパッチテーブルを理解する

Pickleは、シリアライズ時にオブジェクトタイプに基づき異なるメソッドを使用します。

その管理をおこなうディスパッチテーブルをカスタマイズすれば、特定のオブジェクトタイプに対して独自のシリアライズ方法を指定することも可能です。

import pickle

class CustomObject:
    def __init__(self, data):
        self.data = data

# カスタムなシリアライズ関数
def custom_serialize(obj):
    if isinstance(obj, CustomObject):
        # CustomObjectの場合は特定の形式でシリアライズ
        return f"CustomObject({obj.data})"
    # デフォルトのシリアライズ関数を使用
    return pickle.Pickler._default_serialize(obj)

# カスタムなデシリアライズ関数
def custom_deserialize(data):
    if data.startswith("CustomObject("):
        # カスタムオブジェクトのデシリアライズ
        data = data[len("CustomObject("):-1]
        return CustomObject(data)
    # デフォルトのデシリアライズ関数を使用
    return pickle.Unpickler._default_loads(data)

# カスタマイズしたシリアライズ関数とデシリアライズ関数をディス

状態を持つオブジェクトの扱い

状態を持つオブジェクト、例えば、ファイルハンドルやネットワーク接続などは、pickle化が困難です。

これらのオブジェクトは通常、実行環境に依存するリソースを持っているため、シリアライズおよびデシリアライズが不適切になる可能性があります。

型、関数、その他のオブジェクトに対するリダクションのカスタマイズ

Pickleは基本的なPythonオブジェクトに対してはうまく動作しますが、カスタムオブジェクトに対してはカスタムリダクションプロセスが必要になる場合があります。

__reduce__メソッドを使用して、オブジェクトがシリアライズされる方法を制御してください。

import pickle

class CustomObject:
    def __init__(self, data):
        self.data = data

    def __reduce__(self):
        # シリアライズ時に呼ばれるカスタムなリダクションプロセスを定義
        # 第一要素にはオブジェクトを再構築するための呼び出し可能なオブジェクトを指定
        # 第二要素には再構築に必要な引数をタプルで指定
        return (self.__class__, (self.data,))

# カスタムオブジェクトを作成
custom_obj = CustomObject("Custom Data")

# pickle化
with open("custom_data.pickle", "wb") as f:
    pickle.dump(custom_obj, f)

# pickleからの復元
with open("custom_data.pickle", "rb") as f:
    restored_obj = pickle.load(f)

print("Original:", custom_obj.data)
print("Restored:", restored_obj.data)

アウトオブバウンドバッファの使用例

Pickleモジュールは、オブジェクトをシリアライズする際に内部バッファを使用。

しかし、巨大なデータセットを取り扱う場合、アウトオブバウンドバッファを使用して効率を向上させられます。

import pickle

class LargeDataset:
    def __init__(self, data):
        self.data = data

# 大きなデータセットを作成
large_data = [i for i in range(10**6)]

# アウトオブバウンドバッファを使用してpickle化
with open("large_data.pickle", "wb") as f:
    pickler = pickle._Pickler(f, protocol=pickle.HIGHEST_PROTOCOL)
    pickler.dump(LargeDataset(large_data))

# pickleからの復元
with open("large_data.pickle", "rb") as f:
    restored_large_data = pickle.load(f)

print("Original Data Length:", len(large_data))
print("Restored Data Length:", len(restored_large_data.data))