Тесты · индекс Epoch AI
Epoch Capabilities Index сводит десятки сложных тестов (математика, код, наука, рассуждения) в одну шкалу. Чем выше, тем сильнее модель. Рядом с числом — погрешность: близкие значения стоит считать ничьей.
Какая модель сильнее по тестам, какую выбирают люди в слепых сравнениях и сколько она стоит. Только открытые данные, со ссылками на источники.
Первое место в каждом рейтинге и кто идёт следом. Если разрыв меньше погрешности, это скорее ничья.
Сводим несколько рейтингов с весами под конкретную задачу. Рецепт виден справа: никакой магии, только открытые цифры.
Нажмите на заголовок колонки, чтобы отсортировать. Раздел Arena переключается в списке: общий зачёт, русский язык, математика, код и другие.
| # | |||||
|---|---|---|---|---|---|
| Загружаю… | |||||
Наведите или нажмите на точку, чтобы увидеть модель.
По горизонтали индекс Epoch, по вертикали Elo в Arena. Выше линии — модели, которые людям нравятся больше, чем можно ждать по тестам.
Цена за 1 млн токенов (3 части входа на 1 часть выхода), шкала логарифмическая. Пунктир — самые выгодные модели: сильнее за эти деньги нет.
Epoch Capabilities Index сводит десятки сложных тестов (математика, код, наука, рассуждения) в одну шкалу. Чем выше, тем сильнее модель. Рядом с числом — погрешность: близкие значения стоит считать ничьей.
Люди задают вопрос, видят ответы двух неизвестных моделей и выбирают лучший. Из сотен тысяч голосов считается рейтинг Elo. Берём вариант с поправкой на стиль: длинный и нарядный ответ не получает бонуса. Есть отдельные зачёты по русскому языку, математике, коду, сайтам и картинкам.
Цена API в долларах за миллион токенов: это примерно 700 тысяч русских слов. Для сравнения берём смесь 3 : 1 — три части входа на одну часть выхода. В чат-приложениях с подпиской цены другие.
У многих моделей есть режимы «думать дольше» (High, Max). Для каждой модели показываем лучший режим. Названия из разных источников сводятся автоматически, сложные случаи — вручную. Модели, которых нет в источнике, показаны с прочерком.
Каждый рейтинг переводим в шкалу от 0 до 100: лучшая модель — 100, слабые — около нуля. Потом складываем с весами задачи. Если у модели нет главного для задачи рейтинга, в подборку она не попадает.
Российских моделей (GigaChat, YandexGPT) в этих открытых рейтингах нет — их там просто не тестируют. Доступность из России и оплата российской картой тоже не учитываются.