第23章 一万次查询(2/2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
意见不一致时,保留分歧,不取平均掩盖。
“这会很慢。”马飞说。
“所以先抽五百条。”
“五百条代表不了一万次。”
“比你我各挑五十条更接近。”
两人从日志中按类别抽样。兼职学生不能看原排序,只看查询与来源内容。第一轮结果出来时,星辰搜索前十条平均得分只有十一点七分。
五百条花了九个人十二天。每晚六点,评分者到半地下室领一叠盲表和两个馒头;九点以前必须交回,不能带到宿舍,以免来源页和查询文本散出去。马飞负责烧水,苏雨桐处理争议,周成把结果录进不联网的机器。
第六天,一个兼职学生连续给出全是两分的表。苏雨桐抽查发现他只看标题,没有打开来源。学生以为分高能帮公司早点发布,马飞没有骂他,只把那天四十份全部作废,补付其他人重评费用。墙上的进度退回两天。
月底结算时,那名学生主动把当晚补贴退回来。苏雨桐没有收,只让他在评分规范上重签一次,第二轮继续参与。他后来提交的分歧记录反而是九个人里最细的。
最差的是人名和残缺题名。
最好的是明确专业术语。
还有一个意外:重复页面比他们估计的多。同一篇论文摘要被不同镜像目录收录,前十条里有时会出现四份几乎相同的内容。
“用户不是得到四个答案。”苏雨桐说,“是同一个答案挡住了另外三个。”
他们用内容指纹把镜像折叠以后,平均得分只涨了零点二,页面却腾出近两个结果位。那名寻找微小卫星资料的助教再次测试,原本被四份镜像挤到第十一的外文目录第一次进了前十。他没有发长邮件,只在工单里写:“现在看得见了。”
去重从优化项升为发布前要求。
马飞把一万次查询的分布贴到问题木板旁边。XC编号仍记录每一个具体缺陷,基线则告诉他们应该先修哪一类。
有报告,不等于普遍。
没有报告,也不等于没有问题。
季度末,星辰搜索0.4版没有新增醒目的功能。
陈维明原本准备在客户通讯里写“万次查询验证”,看完十一点七分后,把这句话改成“高校测试继续”。他不满意,却仍按合同提供第二台测试机的夜间机时。马飞把这项支持记进资源账,没有用一次分数下滑抹掉客户此前的承诺。
它只是让明确题名的正确结果更靠前,把重复页面合并显示,并开始识别少量拼音姓名。
前十条平均得分从十一点七升到十三点一。
涨幅不大。
却能复测。
马飞在版本记录里写下:
“从今天起,不再以最好的一次查询证明我们是谁。”
苏雨桐看完,把“证明我们是谁”改成“证明版本质量”,说软件没有“谁”,只有能复跑的记录。马飞接受修改,在旁边签了日期。
五百条盲评表装进四只档案盒。最后一只合盖时,外面已经天亮,五金店卷帘门哗啦一声拉起。老板把刚出锅的豆腐脑端下来,问十三点一到底算好还是坏。
“比十一点七好。”周成说。
“那就先吃饭。”老板把勺子一人一把分过去,“吃完再想剩下的六点九。”