从零到第一单 04｜考官不能是老师傅

第一篇说过，证书谁来评，够单独写一篇——就是这篇。

Taon 的信用地基是认证：工程师来考试，过了发证，客户凭证书信人。那么最要命的设计问题就一个：考卷谁来改？这一篇分四步讲我的答案——为什么否掉老师傅，为什么也否掉请大佬站台，AI 评卷怎么才能不是套壳，以及人留在哪。

一、第一条被否掉的路：老手当评委

几乎每个听我讲认证体系的人，第一反应都是同一句：找几个资深的来把关啊。

这条路我否了，两条理由。第一条是现实：冷启动的平台上根本没有老手存量，去哪找。但这条不致命，致命的是第二条——利益。

想一下老手在这个局里的处境：他和被他评的新人，将来在同一个池子里抢单。对他来说，最理性的策略是什么？是让池子里能干活的新人尽量少——新人越少，他的接单机会越多，溢价越高。让老手评新人，等于让他亲手给自己制造竞争对手。这种设计写在纸上很美，上线之后必然变形：要么评得敷衍（走过场），要么评得苛刻（筑门槛），唯独不会又认真又公正。

这个病不是我发明的，行业里到处都是。各种"同行评审"，只要评审人和被评人在同一个市场里吃饭，评审就会慢慢烂掉。学术界的同行评审勉强能转，靠的是两条别处没有的支柱：声誉系统足够重，以及评审人和投稿人通常不直接抢同一笔钱。放到接活市场，这两条支柱都不存在，塌是必然的。

设计评审的第一问，从来不是"谁最懂"，是"谁的利益跟公正一致"。

二、第二条被否掉的路：请大佬站台

另一个常见建议：邀请几位行业专家做 Founding 评审团，顺便给平台背书。

也否了，三条理由。其一，所有被邀请的人都带着目的来，纯粹的贡献不存在——平台还没上线，我拿什么跟人交换？其二，没上线的平台也给不了专家想要的东西：没有流量，没有声誉可刷，价值钩子是空的。其三，最实际的一条：邀请这个动作本身卡在关键路径上。邀不到、邀晚了、邀来的人做出来的东西不好——每一种都是新风险，而我一个都消化不起。

两条路都否掉之后，结论自然就出来了：评审质量不能靠"找到对的人"，只能靠把工程做扎实。

三、AI 评卷，怎么才能不是"套个壳"

说 AI 当考官，多数人脑子里出现的是"把答卷粘给聊天机器人打个分"。那种东西我自己都不敢信——单个模型直接评分，错判率高到没法用（这个教训在验收设计里也出现过，读过第二篇的会眼熟）。所以评审引擎是五层结构，一层都省不得。

第一层，知识基座。每张领域证背后挂一个独立的资料库：教科书、监管文件、行业规范、头部公司的技术白皮书、公开代码仓库。题目和标准答案由 AI 基于这套基座生成——判卷的依据不是模型的记忆，是可追溯的材料。

第二层，多视角评审。不是一个 AI 拍板，是几个各扮一角：领域专家看答案在行业实践里站不站得住；客户视角问"我付钱我满意吗"；红队专门挑坑——这答案哪里会出事；合规的盯红线；还有一个专门读考生跟 AI 的协作记录，判断他是真懂还是在抄 AI 的输出。各自独立打分、各自给证据，再综合——分歧大的卷子自动送人工。

第三层，评分留痕。每个分数必须带三样东西：引用了答卷的哪一段、推理是什么、对应知识库的哪条。这是申诉机制的前提——考生可以理性地跟机器吵架，我也可以审计考官自己有没有错判。

第四层，争议案例库。被申诉的、被人工改判的案例，全部回喂给评审引擎。这是它从"通用 AI"长成"Taon 考官"的唯一路径——半年之后，这套东西跟随便架一个开源模型之间的差距，是新进者短期抄不走的部分。

第五层，一致性校验。同一份卷子跑几遍，分数方差大的自动进人工抽审。防的是考官"今天心情好明天心情差"。

四、人留在哪

这套设计里，关键路径上唯一的人工是我自己：抽审 AI 出的题和标准答案，冷启动阶段手动复核前几十份评分、校准权重，以及当申诉的终审。这份工作量有限、会衰减——案例库越厚，需要我的地方越少。

老师傅也不是被赶尽杀绝，而是换了个位置，换到利益跟公正一致的位置上：可以当申诉评议员——帮平台抓 AI 的误判，换积分和信用，加速自己的档位评估，而且申诉由考生发起，评议的人不制造竞争对手；也可以贡献"AI 评错了"的案例，被采纳有奖励。一句话原则：老手可以帮我把考官变得更准，但不能决定谁进得来。

五、那把刀，也砍我

读到这儿，脑子快的人多半已经把那第一问掉了个头对准我了：Taon 自己又是什么利益结构？出题的、判卷的、发证的、靠这些持证人接单抽成的、连申诉都是我终审——五个角色，一个主体。我拿"谁的利益跟公正一致"处决了老师傅和大佬，这把刀转过来，第一个该问的就是平台自己。躲这一问，等于把整篇最锋利的一刀留给第一个较真的读者。

先答最直接的：我靠考试赚钱吗？不靠。考试不收费，一分不收；平台只在单子成交、验收通过之后抽成。靠报名费活的认证平台，按这一篇自己的标准就该死——这条我敢焊死，收考试费的那天，这个产品就已经变质了。

但更阴的冲突在后面，而且是我自己在分钱那篇里亲手埋的：平台抽成随认证档位递减，证发得越高，我抽得越少。反过来读——我有一个把证卡严的财务动机（少发一张高档证，多留一点抽成），缺人的时候又有一个把证放水、充供给的动机。松一下供给多，紧一下信用高，两根杠杆都攥在我手里。而且校准评分权重的还是我，权重恰恰是我那个收入函数里的参数。

这个冲突，冷启动阶段我拔不干净——平台就我一个人，出题、判卷、终审暂时只能自己扛。但拔不干净不等于装看不见。我能做的，是把上一集对付我自己的那套办法搬过来：给这本账也设一个对账日。认证的通过率、申诉的改判率、验收分的分布、评分权重每次改了什么，定期公开——让任何一个较真的读者，能自己算出我到底有没有在放水或者卡严。

我没法既当考官、又让你无条件信我。我能给的只有一样：把考官的账本摊开，让你来监督这个考官。

至于这台考官另一个层面的软肋，性质不同、也更简单：它到今天还没评过一个真人。五层工程说得再漂亮，都还是纸面自信。第一个真实考生坐进考场那天，这一篇要么被验证，要么被打脸——到时候如实写。

考试的规矩立完了，下一个机制更难缠，讨论的时候烧的脑子比产品本身还多：钱怎么分。

下一篇讲分钱的规矩，以及一具叫 Juno 的尸体教会我的事。