К содержимому
onsuggest
Войти
Статья ru

Lexometrica Ground Truth: 15 LLM на 30 кейсах по практике ВС РФ

Источник: Habr ·

Рейтинги языковых моделей обычно читают как турнирную таблицу. Для юридических задач это мало что дает: различия между соседними строками, как правило, меньше погрешности измерения, а надежность модели-судьи, которая выставляет оценки, почти никогда не проверяется. В ноябре я повторил срез Lexometrica Ground Truth - 15 моделей, 30 закрытых кейсов по практике Верховного Суда РФ, два LLM-судьи - и на этот раз проверял не только модели, но и судей. Ниже - дизайн исследования, результаты и то, что удалось измерить про LLM-as-a-Judge: согласие судей, смещение судьи-участника и вклад судьи в общую п

Что такое Lexometrica Ground Truth: 15 LLM на 30 кейсах по практике ВС РФ?

Lexometrica Ground Truth: 15 LLM на 30 кейсах по практике ВС РФ is a статья discovery curated from Habr. Рейтинги языковых моделей обычно читают как турнирную таблицу. Для юридических задач это мало что дает: различия между соседними строками, как правило, меньше погрешности…

Как получить доступ или попробовать?

You can experience this content directly on its original host (Habr) by clicking the "Open Original" button.

Откуда этот контент?

Curated from Habr by the OnSuggest team to surface the most interesting and serendipitous content on the web.

Статья · Технологии

Эштон Катчер стал самым богатым актером в мире из-за Anthropic

Фонд владеет примерно 0,5% разработчика Claude, причем большая часть пакета принадлежит его инвесторам. Sound Ventures вложила в Anthropic около 435 млн долларов. Долю венчурной компании Sound Ventures, одним из основателей которой стал актер Эштон Катчер, в разработчике чат-бота Claude оценили примерно в 7 млрд долларов перед выходом Anthropic на биржу. Об этом сообщает Fortune со ссылкой на Bloomberg. Sound Ventures принадлежит около 0,5% Anthropic, причем основная часть этого пакета приходится на инвесторов фонда. Sound Ventures впервые вложилась в Anthropic в 2023 году, инвестировав 35 млн

Hi-Tech Mail Подробнее →
Статья · Технологии

У байкальских нерп взяли анализ крови: что узнали ученые

Байкальские нерпы из океанариумов и их дикие сородичи оказались не совсем одинаковыми. Ученые выяснили, какие показатели крови их различают. Байкальская нерпа (Pusa sibirica) — единственный представитель ластоногих, который всю жизнь проводит в пресной воде. Несмотря на то, что этот эндемик Байкала давно находится в поле зрения ученых, особенности его физиологии до сих пор изучены не полностью. Российские исследователи получили новые данные о состоянии здоровья животных, сравнив биохимические показатели крови диких нерп и их сородичей, живущих в океанариумах. В исследовании участвовали с

Hi-Tech Mail Подробнее →
Статья · Технологии

Борщевик Сосновского будет приносить пользу, но это не точно

Опасный сорняк, от которого стараются избавиться любыми доступными средствами, может получить вторую жизнь. Ученые превратили борщевик в сырье для производства текстильных волокон. Борщевик Сосновского (Heracleum sosnowskyi), известный своими ядовитыми свойствами и способностью молниеносно захватывать огромные территории, неожиданно оказался перспективным сырьем для текстильной промышленности. Международная команда исследователей получила из его стеблей волокна лиоцелла — материала, который обычно производят из древесной целлюлозы. По своим механическим характеристикам экспериментальные

Hi-Tech Mail Подробнее →
Статья · Технологии

Назван простой способ поддержать когнитивную гибкость мозга

Всего полчаса ходьбы умеренной интенсивности меняют картину активности мозга во время выполнения заданий, требующих быстрого переключения и когнитивной гибкости. Когнитивная гибкость — способность быстро менять задачу и приспосабливаться к новым правилам — нужна, например, чтобы планировать свои действия и быстро переключать внимание с одной задачи на другую. Современная жизнь все чаще требует от нас многозадачности и, соответственно, когнитивной гибкости. Уже давно известно, что аэробная нагрузка, которая учащает пульс и дыхание, может временно улучшить мышление. Но ученые не пони

Hi-Tech Mail Подробнее →

Горячие клавиши

Предыдущее открытие
←P
Следующее открытие
→N
Нравится
L
Не для меня
X
Сохранить
S
Показать эту справку
?
Закрыть
Esc

Горячие клавиши работают на странице открытий.