Değerlendirme-öncelikli teslimata karşı standart itiraz her projede zamanında gelir: bizim işimiz yargıdır, arama değil. Cevap anahtarı yoktur. Zevki notlandıramazsınız.
İtiraz yarı doğrudur. Birçok kurumsal kararın tek bir doğru cevabı yoktur. Ama en iyi insanlarınızın kabul edeceği bir cevap dağılımı vardır ve o dağılım ölçülebilir. Soru asla ajanın platonik bir anlamda haklı olup olmadığı değildir. Ajanın, en güçlü operatörlerinizin karar verdiği gibi, onların tutarlılığında ya da daha iyisinde karar verip vermediğidir.
Rubrikler cevap anahtarlarını yener
Yargı işinde altın set, cevaplar yerine rubrikler taşır: kıdemli bir sigortacının tarttığı etkenler, bir talep liderinin uyguladığı eşikler, kimsenin geçmediği kırmızı çizgiler. Notlandıranlar, ajanın çıktısını bir anahtara karşı değil, muhakemesini rubriğe karşı puanlar. İnsan notlandıranlar arasındaki uyum tavan olur; ajanın işi ona yaklaşmaktır.
Gerçeği ölçmüyorsunuz. En iyi insanlarınızın yargısına sadakati ölçüyorsunuz.
Anlaşmazlık temettüsü
Bu rubrikleri kurmak, müşterilerin nadiren beklediği bir yan etki üretir: kurum kendi uzmanlarının nerede anlaşamadığını keşfeder. İki kıdemli eksper, aynı vaka, zıt kararlar. Bu bulgu ajandan öncedir ve ondan sonra da yaşar. Onu çözmek insan operasyonunu hemen iyileştirir ve bu, ancak biri nihayet sınavı yazdığında yüzeye çıkan türden bir içgörüdür.
Notlandırılamaz, neredeyse her zaman notlandırılmamış'ın eş anlamlısıdır. Notlandırma işi gerçek bir iştir. Aynı zamanda yargıyı folklordan şirketin sahip olduğu bir varlığa dönüştüren iştir.