الخلفية
الإجابات المتطابقة - اختيار الخيار نفسه في معظم أسئلة التقييم أو كلها - من أقوى مؤشرات الإجابة غير المنتبهة. لكنها أحيانًا ما يبدو عليه الاتفاق الصادق: العميل المبتهج قد يقيّم كل شيء بـ5 فعلًا. لذا تجسد عتبة الكشف موازنة، واختيارها بالحدس يخاطر إما بتمرير الاحتيال أو بمعاقبة أكثر مجيبيك رضا. فاخترناها بالتجربة.
التصميم
طبّقنا خمس عتبات مرشحة - تعليم الإجابات التي تتطابق فيها 70% أو 75% أو 85% أو 90% أو 95% من إجابات التقييم - على 320 دراسة تضم كل منها 12 بندًا من نوع ليكرت على الأقل (بمجموع 96,410 إجابات). وجاءت الحقيقة المرجعية من لجنة مستقلة من ثلاثة مراجعين مدرَّبين صنّفوا عينة طبقية من 4,800 إجابة كمنتبهة أو غير منتبهة اعتمادًا على السجل الكامل (جودة النص المفتوح والتوقيت والاتساق) دون اطلاع على العلامات الآلية. وكان اتفاق المراجعين قويًا (كابا = 0.79).
النتائج
| العتبة | نسبة كشف حالات المراجعين | معدل الإنذار الكاذب |
| 0.70 | 97% | 9.2% |
| 0.75 | 95% | 5.6% |
| 0.85 | 91% | 1.4% |
| 0.90 | 78% | 0.6% |
| 0.95 | 62% | 0.2% |
للمنحنى ركبة واضحة عند 0.85: فالانتقال من 0.85 إلى 0.75 يشتري أربع نقاط استرجاع بأربعة أضعاف الإنذارات الكاذبة، بينما الانتقال إلى 0.90 يضحي بثلاث عشرة نقطة استرجاع ليوفر أقل من نقطة إنذارات. وتركزت الإنذارات الكاذبة عند 0.70-0.75 تمامًا حيث تتوقع النظرية - استبيانات رضا قصيرة أجاب عنها عملاء راضون فعلًا.
التوصية
أصبحت 0.85 الإعداد الافتراضي على مستوى المنصة (إعداد fraudStraightLineThreshold). ويمكن للباحثين الدارسين لفئات يُتوقع اتفاقها العالي - كمناصري علامة تجارية أو موظفي فرق عالية الانخراط - التخفيف إلى 0.90. وننصح بعدم النزول عن 0.85 في أي تصميم؛ فإن اشتبهت بعدم انتباه واسع فأضف سؤال انتباه بدل تشديد هذه العتبة، لأن الفحصين يفشلان باستقلال.
حدود الدراسة
تصنيف المراجعين، وإن كان معمّى عن العلامات، اطلع على الإشارات نفسها التي تستخدمها الفحوص الآلية الأخرى، ما قد يضخم الاتفاق. وقُيّمت العتبات على استبيانات من 12 بند تقييم فأكثر؛ وفي البطاريات الأقصر يزداد ضجيج الإحصاء وتتصرف العتبة نفسها بمحافظة أكبر.
هذه الدراسة جزء من سلسلة منهجيات الجودة إلى جانب تجربة مواضع أسئلة الانتباه وتقرير الجودة السنوي.