ai-assistants

Интерактивный NPC на Unreal Engine. Часть 2: RAG, эмоции и function calling

В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine. NPC “слышал” игрока (STT), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp) и озвучивал ответ (TTS + lipsync). Но «говорящая голова» ещё не персонаж. Представление о мире у такого NPC статично (зашито в system prompt), на любой запрос он отвечает одинаково безэмоционально и вежливо и никак не влияет на происходящее в игре. Именно эти проблемы мы и попытались решить. Spoiler — у нас получилось.