はじめに
Pythonは、その読みやすさと書きやすさから多くの開発者に愛されているプログラミング言語です。データ分析や機械学習など、さまざまな用途で利用されています。特に、データ分析ではCSV（Comma-Separated Values）形式のファイルを扱うことが多いです。
CSVファイルは、その名の通りコンマで区切られたテキストデータを含んでいます。Excelなどの表計算ソフトで開くことができ、データの保存や交換によく使われます。
この記事では、Pythonを使ってCSVファイルを一括で読み込む方法について解説します。具体的には、フォルダ内の複数のCSVファイルを一度に読み込み、それらを一つのDataFrameに連結させる方法を学びます。これにより、大量のCSVファイルを効率的に処理することが可能になります。
それでは、早速学んでいきましょう！
フォルダ内のCSVファイルを一括で読み込む基本的な方法
Pythonでフォルダ内の複数のCSVファイルを一括で読み込むためには、osとpandasという2つのライブラリを使用します。
まず、osライブラリのlistdir関数を使って、指定したディレクトリ内のファイル名のリストを取得します。次に、そのリストをループして、各CSVファイルを読み込みます。
以下に、その基本的なコードを示します。
import os
import pandas as pd
# フォルダ内のCSVファイル名のリストを取得
csv_files = [f for f in os.listdir('./data') if f.endswith('.csv')]
# 各CSVファイルを読み込み、リストに格納
dfs = [pd.read_csv('./data/' + f) for f in csv_files]
このコードでは、./dataディレクトリ内の全てのCSVファイルを一括で読み込み、それぞれをpandasのDataFrameとしてリストに格納しています。
ただし、この方法ではファイルがCSV形式であること、またデータの形式が全てのファイルで一致していることが前提となります。異なる形式のファイルが混在している場合や、データの整形が必要な場合には、より詳細な処理が必要となります。
次のセクションでは、より高度な一括読み込みの方法について解説します。具体的には、globモジュールを用いた方法と、複数のCSVファイルを一つのDataFrameに連結させる方法について学びます。お楽しみに！
globモジュールを用いた方法
Pythonのglobモジュールを使用すると、特定のパターンに一致するファイル名を簡単に取得することができます。これは、特定の拡張子を持つファイル（この場合は.csv）を一括で読み込むのに非常に便利です。
以下に、globモジュールを使用してCSVファイルを一括で読み込む基本的なコードを示します。
import glob
import pandas as pd
# globを使用してCSVファイルのリストを取得
csv_files = glob.glob('./data/*.csv')
# 各CSVファイルを読み込み、リストに格納
dfs = [pd.read_csv(f) for f in csv_files]
このコードでは、glob.glob('./data/*.csv')が./dataディレクトリ内の全てのCSVファイルのパスをリストとして返します。その後、リスト内の各ファイルを読み込み、それぞれをpandasのDataFrameとしてリストに格納します。
ただし、この方法でもファイルがCSV形式であること、またデータの形式が全てのファイルで一致していることが前提となります。異なる形式のファイルが混在している場合や、データの整形が必要な場合には、より詳細な処理が必要となります。
次のセクションでは、これらのDataFrameを一つに連結させる方法について解説します。お楽しみに！
複数のCSVファイルをDataFrameに連結させる方法
Pythonのpandasライブラリを使用すると、複数のDataFrameを一つに連結させることができます。これは、複数のCSVファイルから読み込んだデータを一つのDataFrameにまとめるのに非常に便利です。
以下に、複数のDataFrameを一つに連結させる基本的なコードを示します。
import pandas as pd
# 複数のDataFrameを一つに連結
df = pd.concat(dfs)
このコードでは、pd.concat関数を使用して、リストdfs内の全てのDataFrameを一つに連結しています。結果として得られるdfは、全てのCSVファイルのデータを含む一つのDataFrameとなります。
ただし、この方法でも全てのCSVファイルが同じ列名を持つこと、またデータの形式が全てのファイルで一致していることが前提となります。異なる形式のファイルが混在している場合や、データの整形が必要な場合には、より詳細な処理が必要となります。
以上が、Pythonを使用してフォルダ内の複数のCSVファイルを一括で読み込み、それらを一つのDataFrameに連結させる方法についての解説です。これにより、大量のCSVファイルを効率的に処理することが可能になります。ぜひ活用してみてください！
まとめ
この記事では、Pythonを使用してフォルダ内の複数のCSVファイルを一括で読み込み、それらを一つのDataFrameに連結させる方法について解説しました。
まず、osライブラリとpandasライブラリを使用して、基本的な一括読み込みの方法を学びました。次に、globモジュールを使用したより高度な一括読み込みの方法を紹介しました。最後に、複数のDataFrameを一つに連結させる方法を解説しました。
これらの方法を用いることで、大量のCSVファイルを効率的に処理し、データ分析を行うことが可能になります。ただし、全てのCSVファイルが同じ列名を持つこと、またデータの形式が全てのファイルで一致していることが前提となります。異なる形式のファイルが混在している場合や、データの整形が必要な場合には、より詳細な処理が必要となります。
Pythonはその柔軟性と強力なライブラリのおかげで、データ分析における重要なツールとなっています。この記事が、Pythonを使用したデータ分析の一助となれば幸いです。引き続きPythonでのデータ分析に挑戦してみてください！
