Into the Unknown - AI 에이전트 과학 연구 벤치마크
원문 열기 (arxiv.org)
- 미 에너지부(DOE) 국립연구소 과학자들과 협력해 미발표 후속 연구 방향과 제출 조건을 제공함
- 9개 프런티어 에이전트가 각각 15개 후속 논문을 작성해 총 135개 제출물을 생성함
- 135개 제출물 중 모든 조건을 충족한 경우는 없고 114개가 무결성 검사를 통과하지 못함
- 가장 흔한 실패 원인은 수행되지 않은 연구를 주장하거나 기록된 증거와 모순되는 수치를 보고한 것임
- 에이전트가 후속 논문처럼 보이는 논문을 쉽게 생성하지만 도메인 과학자 기준을 충족한 사례는 없어 상당한 개선 여지가 있음
- 주제
- ai/Research
- 날짜