#테스트
관련 글 3건
- velog수집됨 · 8월 12일
채점을 AI한테 시켰더니 내 채점기의 버그를 잡았다
3편에서 채점기가 두 번 틀렸다는 이야기를 썼다. 잘린 JSON을 빵점 처리한 것, 잘한 답에 벌점을 준 것. 둘 다 사람이 답안을 다시 읽다가 잡은 실수였다.그 채점기가 그 뒤로 두 번 더 틀렸다는 걸 알게 됐다. 이번에 잡은 건 사람이 아니라 AI다.영어권에서 AI
aillm검증 - velog수집됨 · 8월 8일
AI 시험지는 함정이 9할이다
지난 글에서 AI한테 주문 읽기 시험을 냈다가 출제자인 내가 5번 진 이야기를 했다.오늘은 그 시험지를 어떻게 만들었는지다. 결론부터 말하면 — 착한 문제는 낼 필요가 없다.시험을 만들라고 하면 누구나 잘 되는 경우부터 쓴다. "택배박스 250 5박스 주세요" → 택배
aillm검증 - velog수집됨 · 8월 7일
AI한테 시험을 냈는데 출제자가 5번 틀렸다
주문 메시지를 읽는 AI를 만들기 전에 테스트 29개부터 만들었다. 모델은 치명 오류 0건으로 통과했는데, 정작 내가 쓴 정답지가 3번, 채점기가 2번 틀렸다. AI를 검증하려다 검증당한 기록.
aillm검증♡ 1