الدافع
تُقيّم فحوص الجودة داخل الاستبيان إجابةً واحدة معزولة - فهي لا تعرف شيئًا عمّن أرسلها. أما درجة الثقة التاريخية فتعكس ذلك: إذ تضغط كل إجابة سابقة للمشارك في رقم واحد. والسؤال: هل يتنبأ هذا التاريخ فعلًا بالسلوك المستقبلي، أم أن جودة الإجابة ظرفية غالبًا (يوم سيئ أو استبيان ممل) لا سمة ثابتة؟
العينة والتصميم
أخذنا 87,402 مشاركًا أكملوا خمسة استبيانات على الأقل على المنصة. ولكل منهم حجبنا أحدث إجابة واستخدمنا درجة الثقة المحسوبة قبل تلك الإجابة كمتنبئ وحيد بما إذا كانت الإجابة المحجوبة ستُعلَّم من منظومة الجودة. هذا تصميم زمني صارم: المتنبئ لا يرى أبدًا النتيجة التي يتنبأ بها.
النتائج
- •تنبأت درجة الثقة وحدها بتعليم الإجابة التالية بـAUC يبلغ 0.83 - أفضل من أي فحص منفرد داخل الاستبيان (أفضلها، كشف السرعة، يسجل 0.74 في المهمة نفسها)
- •المشاركون بدرجة ثقة دون 30 كان معدل تعليم إجابتهم التالية أعلى بـ7.1 مرة ممن تجاوزوا 80
- •دمج درجة الثقة مع بطارية فحوص الاستبيان رفع AUC إلى 0.91 - فالطبقتان تلتقطان معلومات مختلفة جوهريًا
- •كان التنبؤ أقوى لدى مزمني الجودة المنخفضة وأضعف لدى المخالفين لأول مرة، تمامًا كما ينبغي لمقياس تاريخي
الجودة سمة ثابتة
حجم الأثر يحسم سؤال «الظرفية أم السمة» حسمًا قاطعًا لهذه الفئة: الإجابة منخفضة الجودة سمة مستقرة إلى حد بعيد لدى أقلية صغيرة من الحسابات، لا ضوضاء عشوائية موزعة على الجميع. والمغزى العملي أن تحديد هذه الأقلية وحجبها يحمي جودة البيانات بكفاءة تفوق كثيرًا تشديد العتبات على الجميع.
“أفضل متنبئ بالإجابة التالية هو كل إجابة سبقتها.”
- من قسم المناقشة
الانعكاسات التشغيلية
- عتبة التعليم التلقائي عند 30 نقطة (fraudTrustScoreMin) تلتقط جل معتادي الإجابات الرديئة دون المساس بالمشاركين الجدد الذين يبدؤون بلا درجة
- على الباحثين إبقاء الطبقتين مفعّلتين: فحوص الاستبيان تلتقط المخالفات الأولى، وحجب الثقة يلتقط المعاودين
- ولأن الدرجة نسبة بسيطة (المعتمد ÷ الإجمالي) فهي تتعافى طبيعيًا مع السلوك الجيد المستمر - الحجب مرشِّح لا حكمًا مؤبدًا
حدود الدراسة
متغير النتيجة (التعليم) تنتجه المنظومة نفسها التي نقارن فحوصها، لذا فإن قيم AUC للفحوص الفردية تقديرات متحفظة. واستُبعد المشاركون بأقل من خمسة إكمالات؛ فمشكلة التنبؤ للحسابات الجديدة مسألة منفصلة. لمعرفة عمل الدرجة يوميًا راجع فهم درجة الثقة الخاصة بك.