logo NodeSeekbeta

GPT降智检测:codex-candy-eval

采用项目https://github.com/haowang02/codex-candy-eval

自己的账号美区家宽表现:

轮次 答案摘要 输入 输出 推理 耗时 TPS 判定
1 最少取 21 个…… 12772 2886 2588 60.6 秒 47.6 ✓
2 最少需要取出 29 个…… 12772 769 516 21.7 秒 35.4 ✗
3 最少取 21 个…… 12772 2893 2588 56.6 秒 51.1 ✓
4 最少需要取出 24 个…… 12772 847 516 23.3 秒 36.3 ✗
5 最少要取出 29 个…… 12772 738 516 19.7 秒 37.4 ✗

汇总:2/5 正确,准确率 40%。由于是串行执行,总耗时约 182 秒,即约 3 分钟。

中转站表现:5 轮里只有第 3 轮答对 21,其余 2 轮都答了 29。单轮耗时大概 17.5s 到 67.6s,reasoning tokens 多数约 516,答对那轮用了 3106 reasoning tokens。

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有72214位seeker

🎉欢迎新用户🎉