Reporting Bugs and Errors about logickor HOT 2 CLOSED

답변이 많이 늦었습니다.

1. 말씀해주신대로, judge에서의 문제가 확실히 존재하는걸로 보입니다. 다만, 각 judge 결과에 대해서 judge 자체의 문제에 따라 결과를 수정하는 것은 형평성 측면에서 문제가 있을 수 있기에, 현재 LogicKor 벤치마크의 한계점으로 바라보면 좋을 것 같습니다. 추후 새로운 벤치마크를 제작한다면 말씀해주신 부분을 고려하겠습니다.

2. 실제 평가 과정에서 어떤 프롬프트를 적용했는지 확실하게 기억나지 않네요. 한번 재평가 후 업로드하도록 하겠습니다.

3. 샘플링 부분은 자유롭게 제출 받도록 하겠습니다.

감사합니다.

from logickor.

상세하고 친절한 답변 감사합니다 :)

from logickor.