Found Description
混元大模型算法研究员-模型评测 北京 分享 1.定义下一代评测范式：设计并建立一套能系统性地衡量大模型在开放、真实、复杂场景下的真实能力评测体系（包括不局限于Agent、Tool Use、Code、Search等），以科学地探索并定义模型的认知边界；
2.构建严谨、高效的评测数据体系：能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范，构建自动化评测数据合成算法，为整个评测体系提供高质量的数据基石；
3.评测算法研究：研究实现高效、精准的模型性能归因分析算法，准确定位模型薄弱区间。 岗位要求 1.解决问题能力： 具备基于第一性原理的卓越问题解决能力，能自主应对模型评测与诊断中的核心挑战；
2.评测分析经验： 具备从评测体系构建到深度性能诊断、评测结果分析的评测项目经验者优化；
3.沟通协作能力： 具备优秀的沟通协作精神，能与跨领域团队紧密合作，共同推进技术创新；
4.代码能力： 具备优秀的编程能力，熟练掌握C++/Python者优先；
5.学术背景： 在NeurIPS、ICLR、ICML、ACL、EMNLP等顶会发表过高质量论文者优先。
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 TEG 点击了解更多BG信息 技术 三年以上工作经验 更新于年01月15日 岗位职责2.构建严谨、高效的评测数据体系：能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范，构建自动化评测数据合成算法，为整个评测体系提供高质量的数据基石；
3.评测算法研究：研究实现高效、精准的模型性能归因分析算法，准确定位模型薄弱区间。
2.评测分析经验： 具备从评测体系构建到深度性能诊断、评测结果分析的评测项目经验者优化；
3.沟通协作能力： 具备优秀的沟通协作精神，能与跨领域团队紧密合作，共同推进技术创新；
4.代码能力： 具备优秀的编程能力，熟练掌握C++/Python者优先；
5.学术背景： 在NeurIPS、ICLR、ICML、ACL、EMNLP等顶会发表过高质量论文者优先。