構音障害のリハビリに役立つ？フォルマント分析アプリでリアルタイムに声を可視化

import sounddevice as sd 
import numpy as np
import matplotlib.pyplot as plt
import parselmouth
import math

# === 設定 ===
FS = 44100      # サンプリング周波数
CHUNK = 11000    # 約0.25秒分
DEVICE = None   # 既定デバイスを使用

def is_valid(value):
    return value is not None and not math.isnan(value)

def get_formants(audio, sr=FS):
    snd = parselmouth.Sound(audio, sampling_frequency=sr)
    duration = snd.get_total_duration()
    formant = snd.to_formant_burg()
    center_time = duration / 2.0
    f1 = formant.get_value_at_time(1, center_time)
    f2 = formant.get_value_at_time(2, center_time)
    return f1, f2

# 最新と前回のF1,F2を保持
latest_formant = {"f1": None, "f2": None}
prev_formant   = {"f1": None, "f2": None}

# === 標準データ（男性・女性あいうえお） ===
reference_points = [
    ("man_a", 790, 1180),
    ("man_i", 250, 2300),
    ("man_u", 340, 1180),
    ("man_e", 460, 2060),
    ("man_o", 500, 800),
    ("woman_a", 950, 1450),
    ("woman_i", 290, 2930),
    ("woman_u", 400, 1430),
    ("woman_e", 590, 2430),
    ("woman_o", 610, 950),
]

def audio_callback(indata, frames, time, status):
    if status:
        print(status)
    mono = indata[:, 0]
    f1, f2 = get_formants(mono)
    if is_valid(f1) and is_valid(f2):
        # 最新値を更新する前に前回値を保存
        if latest_formant["f1"] is not None and latest_formant["f2"] is not None:
            prev_formant["f1"] = latest_formant["f1"]
            prev_formant["f2"] = latest_formant["f2"]
        latest_formant["f1"] = f1
        latest_formant["f2"] = f2

# === Matplotlib準備 ===
plt.ion()
fig, ax = plt.subplots()

# F1は通常低い→高い、F2は高い→低いが多いので、見やすさに合わせて軸を反転するかも
ax.set_xlim(200, 1200)    # F1軸
ax.set_ylim(500, 3000)    # F2軸
ax.set_xlabel("F1 (Hz)")
ax.set_ylabel("F2 (Hz)")

# 標準データをプロット（男性:青、女性:オレンジ）
for label, f1, f2 in reference_points:
    color = "orange" if label.startswith("w") else "blue"
    ax.plot(f1, f2, 'o', color=color, markersize=6)
    ax.text(f1 + 10, f2 + 10, label, fontsize=9, color=color)


# リアルタイムの現在位置
point, = ax.plot([], [], 'ro', markersize=10)

# === 音声ストリーム開始 ===
stream = sd.InputStream(callback=audio_callback,
                        channels=1,
                        samplerate=FS,
                        blocksize=CHUNK,
                        device=DEVICE)
stream.start()

print("マイク入力をリアルタイム処理中... Ctrl+Cで終了")

try:
    while True:
        # 両方の値が揃っているときだけ平均を計算
        if (latest_formant["f1"] is not None and prev_formant["f1"] is not None):
            avg_f1 = (latest_formant["f1"] + prev_formant["f1"]) / 2.0
            avg_f2 = (latest_formant["f2"] + prev_formant["f2"]) / 2.0

            # 平均値でプロット更新
            point.set_xdata([avg_f1])
            point.set_ydata([avg_f2])
            plt.draw()
        else:
            # 最初の1回だけは最新値をそのまま表示
            if latest_formant["f1"] is not None and prev_formant["f1"] is None:
                point.set_xdata([latest_formant["f1"]])
                point.set_ydata([latest_formant["f2"]])
                plt.draw()

        plt.pause(0.05)

except KeyboardInterrupt:
    print("終了します")
finally:
    stream.stop()
    stream.close()