fizmat.guru · ИИ
Обновляется каждый день

Рейтинг нейросетей

Какая модель сильнее по тестам, какую выбирают люди в слепых сравнениях и сколько она стоит. Только открытые данные, со ссылками на источники.

Загружаю данные…
Сегодня

Кто впереди в каждом зачёте

Первое место в каждом рейтинге и кто идёт следом. Если разрыв меньше погрешности, это скорее ничья.

Загружаю…
Подбор под задачу

Какую модель взять для дела

Сводим несколько рейтингов с весами под конкретную задачу. Рецепт виден справа: никакой магии, только открытые цифры.

    Все модели

    Полная таблица

    Нажмите на заголовок колонки, чтобы отсортировать. Раздел Arena переключается в списке: общий зачёт, русский язык, математика, код и другие.

    #
    Загружаю…
    Графики

    Тесты, люди и деньги

    Наведите или нажмите на точку, чтобы увидеть модель.

    Умная по тестам ≠ любимая людьми

    По горизонтали индекс Epoch, по вертикали Elo в Arena. Выше линии — модели, которые людям нравятся больше, чем можно ждать по тестам.

    Сила и цена

    Цена за 1 млн токенов (3 части входа на 1 часть выхода), шкала логарифмическая. Пунктир — самые выгодные модели: сильнее за эти деньги нет.

    Методика

    Как считаем

    Тесты · индекс Epoch AI

    Epoch Capabilities Index сводит десятки сложных тестов (математика, код, наука, рассуждения) в одну шкалу. Чем выше, тем сильнее модель. Рядом с числом — погрешность: близкие значения стоит считать ничьей.

    epoch.ai/benchmarks

    Люди · Arena

    Люди задают вопрос, видят ответы двух неизвестных моделей и выбирают лучший. Из сотен тысяч голосов считается рейтинг Elo. Берём вариант с поправкой на стиль: длинный и нарядный ответ не получает бонуса. Есть отдельные зачёты по русскому языку, математике, коду, сайтам и картинкам.

    arena.ai

    Цены · OpenRouter

    Цена API в долларах за миллион токенов: это примерно 700 тысяч русских слов. Для сравнения берём смесь 3 : 1 — три части входа на одну часть выхода. В чат-приложениях с подпиской цены другие.

    openrouter.ai/models

    Режимы и названия

    У многих моделей есть режимы «думать дольше» (High, Max). Для каждой модели показываем лучший режим. Названия из разных источников сводятся автоматически, сложные случаи — вручную. Модели, которых нет в источнике, показаны с прочерком.

    Подбор под задачу

    Каждый рейтинг переводим в шкалу от 0 до 100: лучшая модель — 100, слабые — около нуля. Потом складываем с весами задачи. Если у модели нет главного для задачи рейтинга, в подборку она не попадает.

    Чего здесь нет

    Российских моделей (GigaChat, YandexGPT) в этих открытых рейтингах нет — их там просто не тестируют. Доступность из России и оплата российской картой тоже не учитываются.