LLM评测数据集构建成本估算器
按题目数量、单题标注耗时、时薪、复核轮次估算人工构建LLM评测数据集的人力成本。
免费在线工具
Loading…
使用说明
输入题目数量、平均每题标注耗时、标注人员时薪、独立标注/复核轮次、额外开销系数，工具计算总标注工时、基础人力成本和单题平均成本。复核轮次是指同一题目由多少个独立标注员各自标注一遍用于计算标注者间一致性，会成倍增加工时。
功能介绍
- 按题目数量与单题耗时计算总标注工时
- 支持多轮独立标注/复核成本叠加
- 额外开销系数覆盖返工与质检成本
- 输出总成本、单题平均成本
使用场景
评测数据集立项预算
为构建LLM评测数据集的项目立项估算所需人力预算
对比标注方案成本
对比不同标注轮次/单价方案下的总成本差异
标注外包报价核对
核对标注外包供应商报价是否合理
常见问题
工具会调用AI生成评测题目吗？
不会。本工具是纯人力成本估算器，只做数学计算，不接入任何AI服务生成内容。
复核轮次和自我复查有什么区别？
复核轮次指同一题目由多个独立标注员各自完整标注一遍，用于后续计算标注者间一致性（IAA），不是同一人复查自己的标注，因此工时会随轮次成倍增加。