ai-assistants

RuntimeNodes: как мы, ML‑щики, стали писать рантайм

«LLM‑содержащие продукты» — это далеко не только вызов модели. Чтобы её ответ оказался полезным, нужно правильно распознать интент, найти подходящую информацию, отобрать нужные фрагменты и уместить их в контекстное окно. Кроме того, сами механизмы поиска и отбора данных приходится постоянно настраивать. Всё становится ещё сложнее по мере прихода к итеративным сценариям. Бизнес‑логика, которая готовит входные данные для LLM и обрабатывает её ответы, всё сильнее и сильнее срастается с самой моделью. На примере LLM‑ответов в поисковой выдаче Яндекса расскажу, как мы ускорили такие эксперименты, научились работать с бизнес‑логикой как с ML‑артефактом и зачем нам для этого понадобились ещё один DSL и представление вычислений в виде графа.