【必読】Pythonの並列処理でタスクを高速化！実例付

（最終更新日：2023年7月）

✔当記事は以下のような状況の方々に向けて書かれています

「Pythonで並列処理をおこないたいが、どのように実装すれば良いか分からない」
「Pythonで並列処理の書き方を学びたい」
「Pythonで実際に並列処理を行う例を見て理解したい」

✔当記事でお伝えする内容は以下の通りです

Pythonでの並列処理の基本
Pythonでの並列処理の書き方とその応用
Pythonでの並列処理の具体例

当記事内ではPythonでの並列処理の基本から応用例まで、実際のコード例を用いて丁寧に解説しています。

最後までご覧ください

筆者プロフィール

【現職】プロダクトマネージャー

【副業】ブログ（月間20万PV）/YouTube/Web・アプリ制作

「プログラミング × ライティング × 営業」の経験を活かし、30後半からのIT系職へシフト。現在はプロダクトマネージャーとして、さまざまな関係者の間に入り奮闘してます。当サイトでは、実際に手を動かせるWebアプリの開発を通じて、プログラミングはもちろん、IT職に必要な情報を提供していきます。

【当ブログで紹介しているサイト】

当サイトチュートリアルで作成したデモ版日報アプリ

Django × Reactで開発したツール系Webアプリ

✔人に見せても恥ずかしくないコードを書こう

「リーダブルコード」は、わかりやすく良いコードの定義を教えてくれる本です。

見るからにきれいなコードの書き方
コードの分割方法
変数や関数の命名規則

エンジニアのスタンダートとすべき基準を一から解説しています。

何回も読むのに値する本なので、ぜひ手にとって読んでみてください。

リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック

created by Rinker

¥2,640 (2024/12/03 13:55:30時点 Amazon調べ-詳細)

序章：並列処理と並行処理、その違い

こちらでは、「並列処理」と「並行処理」について、それぞれの違いに焦点を当てて解説していきます。

これらの違いを理解することは、Pythonにおける並列処理と並行処理の実装に向けて、非常に重要です。

並列処理と並行処理の定義と違い
Pythonと並列処理の関係

並列処理と並行処理の定義と違い

並列処理とは、複数の計算を同時に行う処理方式のことを指します。

一方並行処理とは、複数のタスクが同時に進行するように見える処理のことを指します。

これらは類似しているように見えますが、並列処理は物理的な同時実行を指し、並行処理は論理的な同時実行を指します。

たとえば、マルチコアプロセッサーを持つコンピュータでは、各コアが異なるタスクを同時に処理することができ、これは並列処理の一例です。

一方、単一コアのプロセッサでは、コンテクストスイッチングにより複数のタスクがほぼ同時に進行するように見えますが、これは並行処理の一例です。

Pythonと並列処理の関係

Pythonは、その独自の特性上、一部の並列処理をサポートしていますが、完全な並列処理をサポートしているわけではありません。

PythonのGlobal Interpreter Lock（GIL）は、一度に一つのスレッドしか実行できないように制限するため、単一のPythonプロセスでは真の並列処理が制限されます。

しかしマルチプロセス処理により、この制限の回避も可能。

次章で、このGILとマルチプロセスについて詳しく説明します。

Pythonにおいての並列処理と多重処理

この章では、Pythonにおける並列処理と多重処理について詳しく見ていきます。

Pythonは、特にGlobal Interpreter Lock（GIL）の存在により、並列処理の実装が特異な言語となっています。

Global Interpreter Lock（GIL）とは
マルチプロセス、マルチスレッドの概要

Global Interpreter Lock（GIL）とは

Global Interpreter Lock（GIL）は、Pythonがメモリを安全に管理するために使用する仕組みです。

GILは一度にひとつのスレッドだけがPythonのオブジェクトにアクセスできるように制限するため、Pythonのスレッドは同時に実行できません。

これが並列処理の実装を難しくする主要な要因です。

次のコードはGILの動作を示すものです。

import threading

def worker():
    """thread worker function"""
    print('Worker')

threads = []
for i in range(5):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

このコードは5つのスレッドを生成しますが、それぞれのスレッドは順番に実行されます。

これはGILの影響によるものです。

マルチプロセス、マルチスレッドの概要

Pythonでは、multiprocessingやthreadingといったライブラリを用いて、マルチプロセスやマルチスレッドのプログラミングの実装が可能です。

これらを使うことで、GILの制約を回避し、効率的な並列処理を実現できます。

multiprocessingモジュールを使ったマルチプロセスの基本的な例は以下のとおりです。

from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

一方、threadingモジュールを使ったマルチスレッドの基本的な例は以下のとおり。

import threading

def worker():
    print('Worker')

if __name__ == '__main__':
    for _ in range(5):
        t = threading.Thread(target=worker)
        t.start()

Pythonでは標準ライブラリを利用して並列処理を実装することが可能です。

Pythonにおける並行処理とその実装

こちらでは、並行処理を実装する方法について詳しく見ていきましょう。

実装する並行処理の定義
Pythonでの並行処理の実装例
Pythonの並行処理ライブラリとその利用法

実装する並行処理の定義

並行処理は、複数のタスクを同時に、もしくはほぼ同時に処理する手法です。

その目的は、全体のプロセスをスムーズにおこない、リソースを効率的に利用すること。

これはひとつのプロセスがブロック（例えば、データの取得を待つなど）された場合、別のタスクを開始できるので非常に効率的です。

Pythonでの並行処理の実装例

Pythonのconcurrent.futuresモジュールを使用して並行処理を実装する基本的な例を以下に示します。

from concurrent.futures import ThreadPoolExecutor
import time

def task(n):
    time.sleep(n)
    return n

def main():
    with ThreadPoolExecutor(max_workers=4) as executor:
        for result in executor.map(task, [2, 1, 3]):
            print(result)

if __name__ == "__main__":
    main()

このコードは、各タスクを並行して実行し、各タスクが完了するとその結果を出力します。

Pythonの並行処理ライブラリとその利用法

Pythonで並行処理をサポートするライブラリとして、concurrent.futuresとasyncioが挙げられます。

これらのライブラリは、さまざまなタスクを並行して実行するための便利なツールを提供。

concurrent.futuresのThreadPoolExecutorやProcessPoolExecutor：それぞれスレッドベースとプロセスベースの並行処理を実装するために使用可能
asyncio：協調的マルチタスク（タスクが積極的に制御を他のタスクに渡す）をサポートするためのライブラリで、非同期I/Oを効率的に処理

これらのライブラリを効果的に使用することで、Pythonで効率的な並行処理の実装が可能です。

以下に、asyncioを用いた単純な非同期I/Oの実装例を示します。

import asyncio

async def hello():
    print('Hello')
    await asyncio.sleep(1)
    print('World')

async def main():
    tasks = [hello() for _ in range(10)]
    await asyncio.gather(*tasks)

if __name__ == "__main__":
    asyncio.run(main())

このコードは非同期I/Oを使用して10個のhelloタスクを並行に実行します。

asyncio.gatherは複数のcoroutineを一度に実行し、すべてのcoroutineが終了するのを待つ便利な関数です。

Pythonにおける並列処理とその実装

こちらでは、Pythonを使って並列処理を実装する方法について詳しく見ていきます。

並列処理の定義
Pythonでの並列処理の実装例
Pythonの並列処理ライブラリとその利用法

並列処理の定義

並列処理は、複数の計算を同時におこなう手法で、一般には複数のプロセッサコアを使ってタスクを同時に実行します。

この目的は、処理速度を向上させることです。

並列処理は、大量のデータを処理したり、複雑な計算を高速化したりするために使用されます。

Pythonでの並列処理の実装例

Pythonで並列処理をおこなう一般的な方法の一つは、multiprocessingモジュールを使用することです。

以下にその例を示します。

from multiprocessing import Pool
import time

def task(n):
    time.sleep(n)
    return n

def main():
    with Pool(processes=4) as pool:
        results = pool.map(task, [2, 1, 3])
        for result in results:
            print(result)

if __name__ == "__main__":
    main()

各タスクを異なるプロセスで並列に実行し、各タスクが完了するとその結果を出力します。

ここでのポイントは、各タスクが実際に同時に行われ、それぞれのタスクが異なるプロセッサコアを使用可能であることです。

Pythonの並列処理ライブラリとその利用法

Pythonで並列処理をおこなえるライブラリには、主にmultiprocessingとjoblibがあります。

これらのライブラリにより、並列処理を効率的におこなえるのです。

multiprocessingライブラリ

プロセスベースの並列処理をサポートし、プロセス間でのデータの交換や同期が可能です。

multiprocessing.Pool APIを使用すると、関数の並列実行を容易にできます。

joblib

特に大量のデータを扱う場合に有用なライブラリです。

ディスク上に途中結果を保存することで、長時間実行する作業の途中結果を保持することが可能。

しかし、Pythonの並列処理はGlobal Interpreter Lock(GIL)の存在により、一部の状況で制限があるため、並列処理の設計と実装には注意が必要です。

CPUコア数の確認方法と共有メモリの活用

次に、PythonでCPUコア数を確認する方法と共有メモリの活用について解説します。

PythonでのCPUコア数の確認方法
共有メモリとその活用
NumPyやPandasでの共有メモリ活用法

PythonでのCPUコア数の確認方法

PythonでCPUコア数を確認するためには、標準ライブラリのosを使用します。

以下にそのコードを示します。

import os

if __name__ == "__main__":
    print("Number of CPU cores: ", os.cpu_count())

このコードは現在使用しているシステムのCPUコア数を出力します。

これは並列処理を実装する際に、どれだけの並列性が可能かを把握するために重要です。

例えば、CPUのコア数を超えてプロセスを作成すると、オーバーヘッドが増えてしまう可能性があります。

共有メモリとその活用

共有メモリは、異なるプロセス間でデータを共有するためのメモリ領域です。

並列処理で、各プロセスが同じデータにアクセスする場合には、共有メモリが非常に有用。

ただし共有メモリには、同時書き込みによる競合が発生する可能性があります。

同期メカニズムを適切に使用しましょう。

multiprocessingモジュールを使った、共有メモリの利用例をご覧ください。

from multiprocessing import Process, Value, Array

def f(n, a):
    n.value = 3.1415927
    for i in range(len(a)):
        a[i] = -a[i]

if __name__ == '__main__':
    num = Value('d', 0.0)
    arr = Array('i', range(10))

    p = Process(target=f, args=(num, arr))
    p.start()
    p.join()

    print(num.value)
    print(arr[:])

子プロセスが共有メモリの値を変更して、親プロセスがそれらの変更を確認しています。

NumPyやPandasでの共有メモリ活用法

PythonのライブラリであるNumPyやPandasも、並列処理と共有メモリを活用できます。

大規模な数値データを扱えて、計算速度を向上させることが可能です。

とくにNumPyは、multiprocessingモジュールと併用し、配列データを複数のプロセス間で共有できます。

ただしその配列を、共有メモリ上に配置する直接的な方法は提供していないことは覚えておきましょう。

以下のようにmultiprocessingのRawArrayを使用します。

from multiprocessing import Process, Array
import numpy as np

def f(i, arr):
    arr[i] = i**2

if __name__ == '__main__':
    shared_array_base = Array(np.ctypeslib.ctypes.c_double, 10)
    shared_array = np.ctypeslib.as_array(shared_array_base.get_obj())
    shared_array[:] = np.arange(10)

    processes = [Process(target=f, args=(i, shared_array)) for i in range(10)]

    for p in processes:
        p.start()

    for p in processes:
        p.join()

    print(shared_array)

Arrayクラスを使用して共有メモリ領域を確保。

各子プロセスがこの共有配列の特定の要素を更新します。

Pandasも同様に、DataFrameを共有メモリに配置し、複数のプロセスで同時利用が可能です。

ただし、並列化や共有メモリの使用は適切な設計と実装を必要とするため、慎重な計画と理解が必要です。