为您推荐

人机协同技能竞赛赛制与评分体系建设方案

职业技能竞赛体系建设研究

人机协同技能竞赛赛制与评分体系建设方案

——让AI使用可控,让评分过程可见

 

前言

两名选手做同一道题。一名全程手搓,四小时没碰过任何智能工具;另一名调用赛场提供的本地大模型,用三分之二的时间完成了同样的任务,还多做了两轮边界测试。

任务都完成了,质量都不错。裁判该怎么打分?

现行规则评的是产出:对不对、好不好、有没有创意、讲得清不清楚。两人产出难分高下,展现的能力却不是一回事——一个靠手艺,一个靠手艺加工具。更麻烦的是第二个问题:用工具的那位,是“会调工具”还是“被工具牵着走”?AI给出错误答案时,他看出来了吗?改了吗?

规则回答不了,因为它只能看见结果,看不见过程。本方案要做的,就是把过程变成看得见、测得着、能打分的东西。

一、方案要回答的问题

1.1 两件已经跑通的事

本方案建立在两块已有能力之上。

其一,无纸化技能竞赛评分系统。客观题由系统按设定分值自动判分或直接判定对错;主观题由现场评委打分,由系统按预设规则统计并实时公布。已在云南省、新疆维吾尔自治区职业技能大赛连续使用多年,保持零失误、零投诉。竞赛评分系统的第一属性不是功能,而是“不出事、说得清”——这个纪录说明它已被办赛方、裁判、参赛队三方共同接受。

其二,职业技能赛事AI环境。赛场内部署完全离线的大模型与知识库,调用经统一网关,版本、参数、入口三统一,每次调用全程留痕且不可篡改,可按选手维度回放。已跑通部署,具备断网可用、公平可核、全程留痕三项能力。

1.2为什么现在要合起来

两块能力各解决一个问题:一个解决“分怎么算得准、公布得快”,一个解决“AI怎么用得稳、查得清”。合起来能解决一个此前没人解决的问题:AI的使用过程,第一次可以进入评分。

2026年的两个变化把这个需求推到了台面上:一是AI已被写进竞赛设计——9月上海第48届世界技能大赛,软件测试赛项第四模块首次采用本地部署大模型,工业设计技术赛项首次允许AI设计工具;二是评分的主观权重在上升——教育部《2026年世界职业院校技能大赛实施方案》(教职成函〔2026〕6号)设43个赛道,总决赛按技能水平、职业素养、应用价值、团队合作、创新创意五要素评价,技能水平60分,其余四项各10分,全部由裁判核定。

一边是AI进了考场,一边是评分越来越依赖人的判断。两者相撞留下一个空档:规则允许选手用AI,却没有规定“用得好不好”怎么评。本方案填的就是这个空档。

1.3本方案不做什么

我们先把边界说清楚,以免被误解为“另起炉灶搞一套新赛事”:

不发明赛制。规则制定权在赛事主办方与赛项执委会。我们的方案只是提供一种可以写进竞赛规程的赛程结构与评分方法,用不用、怎么调,由办赛方裁定。

不替代裁判。我们不主张用机器给主观分定分,也明确反对这样做。

不追求全面智能化。目标是“在允许的赛项里提供可控的评价手段”,不是“在所有赛项里都用AI”。

二、外部依据:规则已经先行,评分还没跟上

2.1世界技能大赛:测量分与判断分双轨

世赛评分分两类:能用数据说话的叫测量分,以主观判断为主的叫判断分。工业4.0这类系统集成项目测量分约占九成,花艺、美发这类创意项目判断分占六到七成。这说明技能竞赛评分从来不是“要么全客观、要么全主观”,而是两条轨道按比例组合。

支撑双轨制的是竞赛信息系统(CIS),其评分结构分三级——评分标准、子标准、评分项,每项有明确分值与描述。判断分采用0—3量表:0分低于行业标准,1分达到行业标准,2分达到标准并在某些方面超越,3分整体超越、堪称卓越;由多名裁判独立给出后系统折算,分差超过规定阈值需重新评分;评分方案须在开赛前8周录入CIS,保证可审计、每一分有据可查。

三个细节本方案直接沿用:

表1世赛双轨机制:三个直接沿用的做法


2.2世界职业院校技能大赛:43个赛道,五要素综合评价

2026年世校赛实行初赛、复赛、总决赛三级赛制,设43个赛道并单设人工智能赛道。争夺赛每项目不超过1小时,参赛队按分工同步完成技能操作和现场讲解;排位赛与冠军总决赛每项目10分钟,须含核心技能实践操作。

评分上,技能水平占60分并设硬性门槛:每位成员实操时间须大于项目总时长三分之二,否则本项不超过30分;展现技能种类不少于4项,否则总分不超过40分。其余四项各10分,每项均设“封顶条款”——出现不诚信守法、不尊重知识产权、违反职业伦理等行为,职业素养计0分;方案不能带来可量化的经济或社会效益,应用价值不超过6分。

这套要素有两个特点值得注意:一是高度依赖现场观察与裁判判断,二是大量使用封顶条款这类硬性约束。前者决定评分公信力必须靠机制保障;后者说明规则设计者本身就在用“事实判定”约束主观分,与本方案“过程轨”思路一致。

还要指出:这套体系没有客观题环节。参赛队自主确定项目、自主设计内容、自主选择设备,评分全部围绕项目展示展开(对能力配置的影响见5.1)。

2.3 AI已进入赛场,评分规则没跟上

第48届世赛被称为“AI浓度”最高的一届:赛场之外也有选手用AI生成图片辅助发型设计、借助AI优化代码;世界技能组织方面表示,AI已渗透到几乎所有技能职业,这是全球性趋势。但公开资料对“AI协同产出如何评分”没有进一步说明。允许调用是一回事,评价调用得好不好是另一回事——这个空档不是中国独有,是全球性的。

2.4治理端的真实痛点

主观评分的公正性是竞赛治理中最敏感的一环。以省级职业院校技能大赛“三自主”赛道为对象的研究指出:裁判来自省内外兄弟院校,个人评判尺度、专业认知存在差异,需要“减少主观打分偏差与人为干预空间”,避免裁判个人偏好、校际人情关系影响最终得分;实践手段包括统一赛前培训、全程匿名加密分组、高分段强制复核。2026年世校赛实施方案也强化了裁判遴选培训、裁判问责、现场全程录像封存、畅通申诉渠道等要求。

治理手段在加密、在加码,但基本停留在“流程约束”层面。流程约束有效,却依赖人执行;把规则写进系统,让它自动执行——这正是无纸化评分系统的价值所在。

2.5一条必须守住的合规红线

教育部教师队伍建设专家指导委员会2025年12月发布的《教师生成式人工智能应用指引(第一版)》明确:不得将生成式人工智能对作文、艺术作品、开放性作业等的自动批改结果作为学生最终评价予以直接使用。

这条规定针对中小学教学场景,不直接适用职业技能竞赛,但方向明确:在评价这件事上,生成式人工智能只能是辅助,不能是主体。

本方案把它内化为设计原则并写进系统架构:AI可以判定事实、可以提示异常,但不能作为主观分的最终定分依据。这不是限制,而是本方案区别于“AI自动评分”类方案的核心,也是最容易被办赛方接受的理由。

三、核心主张:从“评产出”到“评产出+评过程”

3.1现在评不了的那一块

把现行评分能测的和不能测的摊开看,空档一目了然。

表2现行评分手段的能力边界——后三行即本方案要补的部分

后三行,就是本方案要补的部分。

3.2留痕把过程变成可评分的数据

AI环境的留痕记录包括:时间戳(精确到毫秒)、身份(工位、场次、选手编号,加密存储)、输入内容、检索命中、模型版本与参数快照、输出内容、性能指标;完整性由哈希链式串联、日志只许追加、赛后导出附校验摘要三重机制保障。

这套留痕原本服务于争议仲裁与知识产权核查。接通评分系统后多了一个用途:把“选手怎么用AI”从不可见的过程,变成可统计、可比对、可回放的数据。

但这里的数据是“事实”而非“评价”:系统能记录“选手是否对AI输出发起了二次验证”,不能也不应判断“选手的验证做得是否漂亮”。前者是事实判定,后者是质量判断,属于裁判。

3.3一句话主张

在赛程上,把“人的能力”“人机协同能力”“对AI的判断力”拆成三段分别考察;在评分上,把客观判定、过程事实、主观判断分成三条轨道并行计分,其中过程轨为本方案新增。

四、赛制设计:三段式赛程

 

图1三段式赛程:同一赛场分三段推进,分区之间状态可验证

4.1第一段:基准段(禁用AI,约占总时长25%)

考察选手在完全不使用智能工具条件下的专业基本功。没有基准就没有比较——若全程开放AI,最终成绩无法区分“选手本人的能力”与“工具贡献的能力”;先量一次“裸能力”,后续AI增益才有参照。

运行上采用规程规定的常规操作任务,赛场不提供AI能力,网络物理隔离。本段成绩单独记录,既是后续评分的参照基准,也是争议时的解释依据。

4.2第二段:协同段(开放AI并全程留痕,约占55%)

考察选手调用赛场统一本地AI能力完成任务的过程与成果。选手经统一网关调用本地大模型与知识库,所有工位同一模型版本、同一知识库、同一推理参数,参数由网关统一下发,选手不可修改,每次调用完整留痕,赛后可按选手维度回放。

这一段的核心不是“允许用AI”,而是“在可核查的条件下用AI”。公平性不靠信任,靠统一入口与全量留痕保证——与既有AI环境方案一致。

图2协同段:开放AI,同时保证每一次调用都可核查

4.3第三段:校验段(答辩与纠错,约占20%)

考察选手对AI输出的判断与纠错能力。两种形式由赛项执委会选定:

 

图3校验段:考判断与纠错,不考产出

复盘答辩式:选手面对协同段成果与调用记录,说明关键决策依据、AI输出中哪些被采纳、哪些被否决及原因。

纠错实战式:向选手提供若干段含错误的AI输出(可取自其本人协同段的真实记录),要求现场识别、说明错在哪里并给出修正方案。

我们建议优先采用第二种:答案可预先确定,评分更接近事实判定,主观裁量空间小,争议概率低。本段时长含准备时间。

4.4时长、衔接与不适用情形

三段可连续也可分段进行,取决于赛项总时长与场地条件。以世校赛争夺赛1小时项目为例,一种可行切分是:基准段15分钟、协同段30分钟、校验段15分钟。

一条硬要求:段间切换必须做到环境状态可验证。系统应能出具“当前工位AI能力处于关闭/开启状态”的记录,这既是公平性证明,也是争议处置时的证据。

以下情形建议不采用三段式赛程:

纯手工类赛项(砌筑、美发、花艺等以手工技艺为核心、无数字化环节):AI不构成竞赛要素,三段式失去意义。

明确禁用AI的赛项:沿用既有赛程,本方案仅提供网络隔离与设备管控的技术支撑。

工位规模过小(如少于8个)或场地电力、网络不满足本地部署要求:部署成本与收益不匹配。

五、评分设计:三轨并行

 

图4 三轨并行评分:同一赛场三路取数,汇入同一总分

5.1客观轨:系统自动判分

评分内容为结果明确、可用“是/否”或具体数据判断的项目:任务是否完成、接口是否通过、数据误差是否在阈值内、操作是否符合规范清单、AI调用是否越界。系统按预设分值自动判分或直接判定对错,无需人工介入。

需要说明边界:现行世校赛赛道制评分围绕项目展示展开,没有客观题环节,客观轨的用武之地主要在过程事实的自动化判定(并入过程轨)、省赛与行业赛理论考核模块、1+X证书类考核。建议不要把它作为赛道制赛事的主打卖点,以免与规程对不上。

5.2过程轨:本方案新增

评分内容是AI使用过程中由系统自动记录、可判定的事实。

表3过程轨:六个可判定的观测点

四条设计纪律必须遵守:

只判定事实,不评价质量。系统可以说“选手对3处AI错误中的2处发起了修正”,不能说“选手的修正很漂亮”。

计分规则赛前公开。每项判定口径、分值、触发条件赛前随竞赛指南公布;赛后解释规则,等于没有规则。

以加分项为主。建议以加分形式计入,避免"未调用AI被扣分"的争议——不使用工具本身不应被惩罚。

可回放。任何一条过程分都必须能调出对应原始记录供仲裁核验。

这条轨道值得单列,是因为它把"会不会用工具"从一句主观印象变成可举证的事实,也把评分争议面缩小到可核查的范围。

5.3主观轨:评委打分,规则统分

评分内容为技能水平、职业素养、应用价值、团队合作、创新创意等需要人的判断的要素。

表4主观轨:七个环节的规则

AI在这一轨只做两件事:异常提示(某位裁判打分持续偏离他人、某项得分与过程轨事实明显矛盾)与事实核对(选手讲解中声明的AI使用情况与系统记录是否一致)。结果推送给裁判长,是否采纳由裁判决定,AI不产生主观分值。

5.4权重建议

权重属办赛方职权,本方案只给建议区间供赛项执委会讨论:

表5三段时长与三轨权重的建议区间

三轨在总分中的占比建议:主观轨不低于50%(保证人的判断主体地位)、过程轨控制在10%—20%(作为增量而非主导)、客观轨按赛项实际可判定项据实计入。

5.5实时公布与争议处置

实时公布是这套系统多年零投诉的重要经验,但必须配套规则,否则“实时”反而放大争议:

分轨显示。公布时区分总分与各轨得分,不混淆。

状态标注。处于复核中的成绩标注“复核中”,不作最终结果展示。

申诉窗口。明确申诉时限与受理渠道,与既有仲裁机制衔接。

一键取证。申诉发生时系统可在授权范围内调出该选手的过程记录供仲裁组核验——这是留痕能力在争议处置中的直接价值。

六、技术底座

6.1与既有方案的衔接:一条新增的数据总线

本方案不另起架构,沿用《职业技能赛事AI环境建设方案》的终端层、网关层、服务层三层设计,此处不重复展开。融合的关键动作只有一个:把网关的审计日志接进无纸化评分系统。这条总线要做三件事——结构化(把留痕整理成“是否发起二次验证”“是否纠正AI错误”等评分字段)、规则化(过程轨计分规则赛前锁定、赛期不可变更)、可回放(按选手维度调取原始记录供仲裁核验)。三件事完成,“过程”才真正进入“评分”。

 

图5技术底座:沿用三层架构,新增一条贯穿式数据总线

6.2五项硬指标

沿用既有方案验收口径,所有指标在赛前测试阶段实测并形成书面报告,经办赛方确认后方可进入赛期。

表6五项硬指标:赛前实测并形成书面报告

本方案另增两项针对评分的验收要求:计分规则一致性(随机抽取过程记录人工核算,与系统计分须完全一致)、回放可用性(随机抽取记录,按选手维度完整还原交互过程)。

七、公平与合规保障

7.1裁判权边界与规则前置

三条边界写入系统,也写入规程:AI不产生主观分值;系统提示不替代裁判决策,只作决策参考;任何过程分的判定都必须能调出原始记录接受核验。

同时,所有评分规则——过程轨判定口径、主观轨统分规则、分差阈值、复核触发条件——必须赛前随竞赛指南公布并完成裁判培训。赛后才解释的规则,不具备公信力。

7.2数据合规与监督接口

留痕含选手身份信息与全部交互内容,属于敏感数据:身份信息加密存储、按最小必要原则授权访问;全部数据存于赛场内设备,不上传任何外部服务;赛后按办赛方要求整体移交或彻底销毁,并出具处置记录。

系统为监督组与仲裁组保留独立只读视图,可查看流程合规性、成绩准确性、保密落实情况,不参与打分,与现行“监督不执裁、执裁不监督、仲裁不打分”的权责隔离机制一致。

八、落地路径

 

图6落地路径:三步走,先试点、再入规程、后提标准

8.1第一步:省级赛试点

在已有成熟应用基础的省级赛事中,选1—2个具备AI要素的赛项试点。目标不是拿奖,而是跑出三样东西:真实的留痕数据、真实的过程分案例、真实的裁判反馈。试点成功只有一个关键指标:零失误、零投诉——这是系统既有的信用基线,试点不能跌破。

8.2第二步:规程嵌入

以技术支撑单位身份参与赛项规程编制,把三段式赛程与三轨评分写入规程;参照世赛“评分方案赛前8周录入CIS”的做法,抢在规程编制窗口期完成系统录入与锁定。

这是整套路径中最关键也最难的一步。难点不在技术,在于让办赛方相信:这套东西是来帮他们把比赛办得更稳的,不是来改变比赛性质的——零失误、零投诉的运行纪录是跨过这道门最有效的通行证。

8.3第三步:标准提案

试点与规程嵌入积累足够案例后,向更高层级赛事组织提交“AI使用过程评分”的方法建议。这一块目前全球尚无人占位,先提出并跑通实践的一方,天然拥有话语权。

九、价值总结

第一,把“能不能用AI”变成“怎么可控地评AI”。与其争论该不该放开,不如建立一套可测量、可核查的评价方法,让AI成为竞赛里一个说得清的要素。

第二,把“公平”从流程约束变成系统执行。统一版本、统一参数、统一入口、全量留痕、分差自动提示——公平不再依赖每个人自觉,而由系统自动落实。

第三,把“争议”从被动应对变成主动有据。申诉、知识产权核查、成绩复核时,完整的技术记录就是第一手材料。留痕的目的不是监控选手,而是保护守规矩的选手。

 

附:需要办赛方确认的事项

表7需要办赛方确认的七项事项

 

说明与声明

本方案所述技术路线基于当前可实现的本地化部署能力,具体配置需根据赛项实际需求确定。文中涉及的赛事政策表述引自公开文件,具体规定以赛事主办方发布的最新版本为准。