Typed-decision model · 307M · MIT
Вы подаёте контекст и набор вариантов, модель возвращает вероятность по каждому варианту и выбирает один. Все числа на этой странице посчитаны выложенными весами besktech/ru-jev с температурой 1.864.
Порог здесь 0.70. Выше него решение уходит в автоматику, ниже отправляется человеку.
Вопрос и шесть категорий те же. Меняется только то, какими словами названы варианты. Ради этого и вышла версия 1.3.
Откалиброванная вероятность стоит чего-то, только если на неё опираются. Двигайте ползунок: сколько потока отдать автоматике.
Модель весит 307 миллионов параметров и считает на процессоре, поэтому ставится внутрь закрытого контура. Короткое да или нет занимает 25 мс на Apple M4 в четыре потока.
Делить на температуру до softmax обязательно. Без этого вероятности завышены и логика порога не работает. Полный справочник API лежит на сайте проекта.