「あれ？データが重複してる？」pandasで表記ゆれを解消！データ分析の前処理を効率化しよう

import pandas as pd

商品名,価格,カテゴリ
 コーヒー ,300,飲み物
 珈琲,350,飲み物
 紅茶  ,400,飲み物
  　緑茶,380,飲み物
コーヒー牛乳,150,飲み物

# サンプルデータを読み込む
df = pd.read_csv("sample_data.csv", encoding="utf-8")  # Shift-JISの場合は「shift-jis」で読み込む
print(df)

# 「カテゴリ」列の全角スペースを半角スペースに統一
df['カテゴリ'] = df['カテゴリ'].str.replace('　', ' ')
print(df)

import pandas as pd

# サンプルデータ
data = {'name': ['ｄｏｃｏｍｏ', 'ソフトバンク株式会社', 'ａｕショップ', 'apple']}
df_zenkaku = pd.DataFrame(data)

# 全角英数字を半角に変換
df_zenkaku['name'] = df_zenkaku['name'].str.translate(str.maketrans({chr(0xFF01 + i): chr(0x21 + i) for i in range(94)}))
print(df_zenkaku)

# 「商品名」列の前後の空白を削除
df['商品名'] = df['商品名'].str.strip()
print(df)

# 「商品名」列の中間にある空白を削除
df['商品名'] = df['商品名'].str.replace(' ', '')
print(df)

# 「商品名」列の「珈琲」を「コーヒー」に置換
df['商品名'] = df['商品名'].str.replace('珈琲', 'コーヒー')
print(df)

# 株式会社を含むサンプルデータ
data = {'企業名': ['株式会社ABC', 'XYZ株式会社', '株式会社あいうえお']}
df_company = pd.DataFrame(data)

# 「株式会社」を「（株）」に置換
df_company['企業名'] = df_company['企業名'].str.replace('株式会社', '（株）')
print(df_company)

# カッコの表記ゆれを統一するデータフレームを作成
df_かっこ = pd.DataFrame({
    '会社名': ['株式会社Ａ', '（株）Ａ', '(株)A', 'Ａ株式会社', 'Ａ（株）', 'A(株)']
})

# カッコのパターンを正規表現で定義し、置換
df_かっこ['会社名'] = df_かっこ['会社名'].str.replace(r'[（\(]株[）\)]', '(株)', regex=True)

print(df_かっこ)

# 日付の表記ゆれを含むサンプルデータ
data = {'日付': ['2023/12/1', '2023-12-01', '2023年12月1日', '12/1/2023', 'R5.12.1']}
df_date = pd.DataFrame(data)

# 正規表現でYYYY-MM-DD形式に統一
df_date['日付'] = df_date['日付'].str.replace(r'(\d{4})[/-](\d{1,2})[/-](\d{1,2})', r'\1-\2-\3', regex=True)
df_date['日付'] = df_date['日付'].str.replace(r'(\d{4})年(\d{1,2})月(\d{1,2})日', r'\1-\2-\3', regex=True)
df_date['日付'] = df_date['日付'].str.replace(r'(\d{1,2})[/-](\d{1,2})[/-](\d{4})', r'\3-\1-\2', regex=True)
df_date['日付'] = df_date['日付'].str.replace(r'R(\d{1,2})\.(\d{1,2})\.(\d{1,2})', lambda x: str(int(x.group(1)) + 2018) + '-' + x.group(2) + '-' + x.group(3), regex=True)
print(df_date)

import pandas as pd
from datetime import datetime

def convert_date_format_with_datetime(date_str):
    formats = [
        "%Y/%m/%d",
        "%Y-%m-%d",
        "%Y年%m月%d日",
        "%m/%d/%Y",
        "R%y.%m.%d"
    ]
    for fmt in formats:
        try:
            if fmt == "R%y.%m.%d":
                dt = datetime.strptime(date_str[1:], "%y.%m.%d")
                year = dt.year + (2018 - 4)
                return f"{year:04}-{dt.month:02}-{dt.day:02}"
            else:
                dt = datetime.strptime(date_str, fmt)
                return dt.strftime("%Y-%m-%d")
        except ValueError:
            pass
    return date_str

# 日付の表記ゆれを含むサンプルデータ
data = {'日付': ['2023/12/1', '2023-12-01', '2023年12月1日', '12/1/2023', 'R5.12.1']}
df_date = pd.DataFrame(data)

# 日付フォーマットを変換
df_date['日付'] = df_date['日付'].apply(convert_date_format_with_datetime)
print(df_date)

# 名寄せ辞書を作成
name_dict = {
    '珈琲': 'コーヒー',
    'カフェラテ': 'コーヒー',
    'アイスコーヒー': 'コーヒー',
    'ブレンドコーヒー': 'コーヒー',
    '紅茶': '紅茶',
    '緑茶': '緑茶',
    '抹茶': '緑茶'
}

# 名寄せ辞書を使って「商品名」列を置換
df['商品名'] = df['商品名'].replace(name_dict)
print(df)

import pandas as pd

# 都道府県名の名寄せ辞書を作成（正式名称に統一）
pref_dict = {
    '東京': '東京都',
    '京都': '京都府',
    '大阪': '大阪府',
    '北海道': '北海道',
    '沖縄': '沖縄県'
}

# サンプルデータ（都道府県名を省略した形式）
data = {'住所': ['東京渋谷区', '京都大阪市', '北海道札幌市', '沖縄那覇市']}
df_pref = pd.DataFrame(data)

# 名寄せ辞書を使って「住所」列を置換
df_pref['住所'] = df_pref['住所'].replace(pref_dict, regex=True)
print(df_pref)

import pandas as pd

# 1. 処理前のデータをバックアップする
df_original = pd.read_csv("sample_data.csv", encoding="utf-8")
df_original.to_csv("sample_data_backup.csv", encoding="utf-8", index=False)

# 2. 表記ゆれの修正を行う（前述の処理）
name_dict = {
    '珈琲': 'コーヒー',
    'カフェラテ': 'コーヒー',
    'アイスコーヒー': 'コーヒー',
    'ブレンドコーヒー': 'コーヒー',
    '紅茶': '紅茶',
    '緑茶': '緑茶',
    '抹茶': '緑茶'
}

df_modified = df_original.copy()
df_modified['商品名'] = df_modified['商品名'].replace(name_dict)

# 3. 元の表記に戻す必要が生じた場合
# 方法1: バックアップから直接復元する
df_restored = pd.read_csv("sample_data_backup.csv", encoding="utf-8")

# 方法2: 名寄せ辞書を反転させて逆変換する
reversed_name_dict = {v: k for k, v in name_dict.items()}
df_reversed = df_modified.copy()
df_reversed['商品名'] = df_reversed['商品名'].replace(reversed_name_dict)

# 結果の確認
print("元のデータ:")
print(df_original)
print("\n表記ゆれ修正後:")
print(df_modified)
print("\nバックアップから復元:")
print(df_restored)
print("\n逆変換による復元:")
print(df_reversed)