DjangoのWEBプリケーションでCSVをpandasで読み込んでforで一行ずつループ処理をしたところ、毎回決まったところで決まったエラーが出たのでPyCharmのデバッグ機能を使って原因を調べた内容です。

プログラムはCSVから読み込んだ文字列が既にデータベースにあるか調べて、存在しなければ処理をして保存するといった内容です。メインの処理は以下のコードの”# 通常の処理”以降に始まりますが、内容とは関係が薄いので今回は割愛します。

最初のコード

import pandas as pd
from information.models import Information


def text_information(request):
    datasets = pd.read_csv("/csv/title.csv", encoding="utf_8")

    for title in datasets.TITLE:
        title_count = Information.objects.filter(title=title).count()

        if title_count < 1:
            # 通常の処理      

CSVのデータが欠損していたり、空白だったりすると読み込んだデータがNaNになってしまいます。上記のコードでは受け取ったtitleが存在するかどうかを判定するので、NaNというtitleがデータベースに存在するかどうかを調べます。この場合、存在しないのでtitle_count = 0となり通常の処理が走ります。通常の処理以降でtitleを文字列として処理すると文字列ではないためエラーが発生します。

読み込んだデータがNaNの時にはクエリをしない様に変更した最終的なコードになります。

import pandas as pd
from information.models import Information


def text_information(request):
    datasets = pd.read_csv("/csv/title.csv", encoding="utf_8")

    for title in datasets.TITLE:
        if title != title:
            # nanの時の処理
            title_count = 1

        else:
            title_count = Information.objects.filter(title=title).count()

        if title_count < 1:
            # 通常の処理
            # 実際にはここから文字列の処理をしています。

datasets = pd.read_csv(“/csv/title.csv”, encoding=”utf_8″)
CSVのデータをdatasetsに代入します。

for title in datasets.TITLE:
読み込んだCSVからカラム名がTITLEのデータを繰り返し処理します。

if title != title:
NaNは自分同士を比較するとFalseとなるので、ここでNaNかどうかを判定しています。もしNaNならtitle_count = 1にしています。

title_count = Information.objects.filter(title=title).count()
データベースに存在するかを調べます。

if title_count < 1:
もし存在しなければ、続きの処理をします。

---

株式会社ファントムへのお問い合わせ

当ブログは群馬県でPythonを使ったAIやシステムを開発している株式会社ファントムが運営しています。