Gradioで簡単！ローカルLLMを使ったチャット画面の作り方

import random
import gradio as gr

# chatの関数 引数にはユーザ入力と会話履歴が必須
def chat_response(message, history):
    print("message", message)
    print("history", history)
    return random.choice(["Yes", "No"])

demo = gr.ChatInterface(chat_response, type="messages", autofocus=False)

if __name__ == "__main__":
    demo.launch()

message あいうえお
history []
message かきく
history [{'role': 'user', 'metadata': {'title': None, 'id': None, 'parent_id': None, 'duration': None, 'status': None}, 'content': 'あいうえ お', 'options': None}, {'role': 'assistant', 'metadata': {'title': None, 'id': None, 'parent_id': None, 'duration': None, 'status': None}, 'content': 'No', 'options': None}]

import gradio as gr
import ollama
import re

model_name = "DeepSeek"

# chatの関数 引数にはユーザ入力と会話履歴が必須
def chat_response(
    message,
    history,
):
    # 会話履歴を含めたチャットメッセージの作成
    if len(history) != 0:
        chat_messages = [
            {"role": item["role"], "content": item["content"]} for item in history
        ]
        chat_messages.append({"role": "user", "content": message})
    else:
        chat_messages = []
        chat_messages.append({"role": "user", "content": message})

    # ローカルLLMの呼び出し
    match model_name:
        case "DeepSeek":
            response = ollama.chat(
                model="hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q4_K_M",
                messages=chat_messages,
            )
            # レスポンスに<think>が入っているとChatInterfaceでうまく表示できない問題の対処
            ai_message = re.sub(
                r"<think>\n", "[think Start]:", response["message"]["content"]
            )
            ai_message = re.sub(r"</think>\s*", "[think End]\n", ai_message)
            return ai_message

        case "Gemma 2":
            response = ollama.chat(
                model="gemma2:latest",
                messages=chat_messages,
            )
            return response["message"]["content"]

# ラジオボタンで選択したモデル名をmodel_nameに格納
def get_model_name(value):
    global model_name
    model_name = value

# 画面の構築
# https://github.com/gradio-app/gradio/issues/7714
with gr.Blocks(fill_height=True) as demo:
    gr.Markdown("## チャット画面")
    gr.Markdown(
        "ローカルLLMとチャットでやり取りする画面です。使用するモデルを選択してください。"
    )
    model_selected = gr.Radio(
        choices=["DeepSeek", "Gemma 2"],
        value="DeepSeek",
        label="使用モデル",
        type="value",
    )
    model_selected.change(get_model_name, inputs=model_selected, outputs=None)

    chat_area = gr.ChatInterface(chat_response, type="messages")

if __name__ == "__main__":
    demo.launch()