データ処理を爆速に！新星「polars」でPythonデータ分析を快適に

import polars as pl
import pandas as pd
import numpy as np

# 1. データフレームの作成
# Pandasライクに辞書から作成
data = {
    '名前': ['Alice', 'Bob', 'Charlie', 'David'],
    '年齢': [24, 30, 22, 28],
    '都市': ['Tokyo', 'Osaka', 'Tokyo', 'Nagoya'],
    'スコア': [85, 92, 78, 95]
}
df = pl.DataFrame(data)
print("--- 1. データフレームの作成 ---")
print(df)
print("\n")

# 2. CSVファイルの読み込み (例としてPandasでCSVを作成)
# df_pd = pd.DataFrame(data)
# df_pd.to_csv("sample_data.csv", index=False)
# df_csv = pl.read_csv("sample_data.csv")
# print("--- 2. CSVファイルの読み込み ---")
# print(df_csv)
# print("\n")

# より大規模なダミーデータを作成 (Polarsの強みがわかるように)
n_rows = 1_000_000
large_data = {
    'id': np.arange(n_rows),
    'category': np.random.choice(['A', 'B', 'C'], n_rows),
    'value1': np.random.rand(n_rows) * 100,
    'value2': np.random.randint(0, 1000, n_rows)
}
large_df = pl.DataFrame(large_data)
print("--- 大規模データフレームの一部 ---")
print(large_df.head())
print("\n")

# 3. データの選択 (select)
# 複数の列を選択
selected_df = large_df.select(['id', 'category'])
print("--- 3. データの選択 (idとcategory列) ---")
print(selected_df.head())
print("\n")

# 4. データのフィルタリング (filter)
# categoryが'A'の行とvalue1が50以上の行をフィルタリング
filtered_df = large_df.filter(
    (pl.col('category') == 'A') & (pl.col('value1') >= 50)
)
print("--- 4. データのフィルタリング (category='A' & value1>=50) ---")
print(filtered_df.head())
print("\n")

# 5. 列の追加・変換 (with_columns)
# value3という新しい列を、value1とvalue2の合計として追加
transformed_df = large_df.with_columns(
    (pl.col('value1') + pl.col('value2')).alias('value3')
)
print("--- 5. 列の追加・変換 (value3 = value1 + value2) ---")
print(transformed_df.head())
print("\n")

# 6. グループ化と集計 (group_by)
# categoryごとにvalue1の平均とvalue2の最大値を計算
grouped_df = large_df.group_by('category').agg(
    pl.col('value1').mean().alias('avg_value1'),
    pl.col('value2').max().alias('max_value2')
).sort('category') # 結果を見やすくするためにソート
print("--- 6. グループ化と集計 (categoryごとの平均・最大値) ---")
print(grouped_df)
print("\n")

# 7. LazyFrameを使った遅延評価
このLazyFrameこそが、Polarsの真骨頂なんです！
# `collect()`で初めて実行されます。
lazy_df = large_df.lazy().filter(
    pl.col('value1') > 90
).group_by('category').agg(
    pl.col('value2').mean().alias('mean_high_value2')
).sort('category')

print("--- 7. LazyFrame (実行計画のみ表示) ---")
print(lazy_df.explain()) # 実行計画を表示
print("\n")

print("--- 7. LazyFrame (collect()で実行) ---")
result_df = lazy_df.collect()
print(result_df)
print("\n")