#eval
5 discoveries · Hand-picked discoveries from the open web, newest first.
-
各AIモデルに最適なハーネスはどれか?
AIエージェントの実行基盤を開発するRuntaが、AIコーディングエージェントのハーネス22構成とAIモデル5種類を組み合わせて性能を検証したベンチマーク「FrontierHarness Eval v1.1」を合計2万7280回試行した結果を公開しました。 続きを読む...
Gigazine · JA
-
Eval Awareness vs. Eval Paranoia
I have said several times that I think frontier models are not that eval aware. I think this is an important fact to unlearn about current models, in order to interpret their current behavior. Others have found this idea quite curious, and asked me for concrete examples. I'm going to try to explain why I believe what I believe and attempt to give a tentative explanation for the behavior that I do see, which I think people sometimes mistake for consistent or understandable evaluation awareness. I have been building alignment evals full time for the last six months. Here are three such evals my
LessWrong · EN
-
Приглашаем на ML-митап hh.ru
Если вы ML-разработчик или дата-сайентист и работаете с поиском и рекомендациями — приходите обсудить, как LLM и агенты помогают искать вакансии, кандидатов и недвижимость: от понимания запросов на естественном языке до оценки качества и работы в проде. После докладов продолжим общение за вкусной едой и напитками! Регистрируйтесь по ссылке и присоединяйтесь к митапу 19 ноября в 19:00 мск в офисе hh.ru или онлайн. Читать далее
Habr · RU
-
Как я пишу агента для оценки и выбора модели под свои задачи/агентов
В прошлый раз я писал про "Как я пишу почти автономного агента для разработки своих пет-проектов" , а сейчас я хочу сместить фокус на выбор модели под конкретные задачи. В сети полно контента на тему "Вышел новый GPT Astra (Claude Fable) near-AGI edition", но нас это мало чем интересует: дорого, долго и слишком самостоятельны. Под капотом много картинок, 2 таблицы и мнение автора, не претендующее на методологию или «правильный путь» Под капотом
Habr · RU
-
Eval Awareness as Eval-type Awareness
The way eval awareness is discussed in the AI safety discourse, either here or on X, can be misleading. Before today, I think I had the wrong mental model of why eval awareness was a problem, and I am writing here in case anyone was making the same errors in their thinking, as well a present a working theory. As laid out in " A Framework for Eval Awareness " the problem is that models who know they are being evaluated will behave differently than they would in deployment. This raises a huge problem if we want calibrations as to, for example, how honest a model is. But the way this is then spok
LessWrong · EN