2026-07-31-smevals-a-small-eval-suite-for-evaluating-models-prompts-and-harnesses-f8f87203ee
모델·프롬프트·하네스를 평가하는 소형 eval 도구 smevals
Simon Willison
편집자 요약
smevals는 모델, 프롬프트, 하네스를 비교 평가하기 위한 작은 eval suite 도구입니다. 사용자는 YAML 파일로 eval 디렉터리를 만든 뒤, 여러 모델 설정에 대해 실행하고 결과를 별도로 채점할 수 있습니다. 또한 로컬 웹 서버로 결과를 확인하거나 static HTML 보고서로 빌드할 수 있습니다.
인사이트
모델 성능을 직접 비교해 보는 연습에 적합한 도구이므로, AI 학습자는 간단한 평가 과제를 만들어 실험하는 방법을 익히기 좋습니다. 먼저 작은 eval 하나를 만들어 `run`, `grade`, `serve` 흐름을 따라 해보는 것이 다음 단계입니다.
댓글
댓글을 불러오는 중…