任何评价体系,都不可能绝对的客观,多少都会有些主观的东西。
通常来说,主观的东西越少,这套评价体系就越好用,评委之间的分歧就越小。
比如联盟的评价体系,评委间的分歧就很小。
根据同一个标准去评价,得到的结果也是大差不差的。
协会创造的这套评级体系,当然不可能跟联盟的评级体系去比,肯定做不到联盟评级体系那么优秀,但归乔等人,还是会尽可能的努力,不断的修正、不断的迭代,尽可能将它修改得越来越好。
实践测试,就是真刀真枪的衡量。
首先,不能出错。
炼器师有绝活,不能给人评价得没有绝活。
炼器师的绝活不合格,不能评价为合格。
炼器师的绝活也有层次,不能在层次方面出错。
这个是非常基本的要求。
倘若这些要求都做不到,那么,这套评级体系就是个废物,就是废的,根本不能用。
因而,在这方面的测试,整个协会都非常的认真,也非常的小心。
通过实践测试,可以发现一些问题。
参与整个评级体系创作的老前辈们,就聚在一起,但凡出现问题就直接开始讨论,有必要修改的地方,就直接进行修改。
经过实践的验证,证明新创造出来的这套评级体系,其实是可以用的。
最基本的评级功能,是达到设计要求的。
这是一套可以用的系统,不会出现错误。
能不能用的问题验证过了,接下来就是好不好用。
能不能用,是指评级体系具不具备可靠的评级能力;而好不好用,就是之前说的客观度、精细度、精准度等等问题。
经过实践测试,总得说来,不算好用,但也没那么难用。
不算好用的意思,其实就是这套评级体系,并没有那么优秀。
至少跟联盟的评级体系比起来,协会创造的这套体系,就显得非常的一般,没什么可以称道的地方。
但其实,它也没那么难用。
客观度还可以,精细度也还可以,精准度也好可以。
没有太突出的地方,但也着实没有什么重大缺陷。
事实上,新创造出来的评级体系,差不多也就是这样了。
一个好的评级体系,实在使用过程中,不断的迭代,不断的修改,不断的调整,从而慢慢的进化。
现在,原始版本能够做到这种程度,其实已经非常不错了。
不过,归乔还是比较小心。
他又安排人手,进行了第二次和第三次的测试,确认没什么问题也以后,这才开始进行制度设计。
评级体系,要配合制度设计。
因为评级,始终是人在评级。
既然是人在评级,那就免不了的,有人会作弊。
以前的协会,就是在评级服务这块,率先沦陷。
前事不忘、后事之师。
重组后的协会,自然要防止腐化。
而这,就需要进行制度设计。
联盟的评审制度,倒是简洁实用,但问题就在于,联盟的那套制度,协会没法用。
因为两套评级体系不同。
联盟的评级体系,是综合性的评定,拥有足够的水平,就能担任评委。
所以,他们可以采用评审团,然后抽签选出评委。
但协会这边的评级体系不一样。
协会的评价体系是针对绝活的。