اطلب من نموذج لغوي كبير محادثة خدمة عملاء بالعربية السعودية، وستحصل على نص يُقرأ بطلاقة لكنه خاطئ بطرق لا تظهر إلا على نطاق واسع. الكلمات عربية. اللهجة خليط. الموظف يتكلم مثل العميل. وكل محادثة ثالثة تنتهي بالعبارة الجاهزة نفسها.
لا شيء من ذلك يظهر في عيّنة من خمس محادثات. وكله يظهر بوضوح في مجموعة من خمسين ألف محادثة — وهي النقطة التي يبدأ عندها أحدهم بالتدريب عليها.
تلوث اللهجة هو الخطأ الواضح
المشكلة الأولى سهلة الوصف وسهلة الالتقاط. النماذج المدرَّبة في معظمها على العربية الشامية والمصرية تُسرّب تلك الصيغ إلى نص يُفترض أنه خليجي.
بعض الكلمات دليل موثوق:
| الصيغة المتسربة | المنطقة | المقابل السعودي |
|---|---|---|
| بدي | شامية | أبغى / أبي |
| شو | شامية | وش / إيش |
| عايز | مصرية | أبغى |
| مشان | شامية | عشان |
| هلق | شامية | الحين |
أي ظهور لهذه الكلمات يُسقِط المحادثة مباشرة. هذا فحص بتعبير نمطي، تكلفته صفر تقريباً، ويلتقط نسبة مفاجئة من مخرجات تبدو سليمة لولا ذلك.
الخطأ الأصعب: المستوى اللغوي
اللهجة ليست محوراً واحداً. العميل النجدي وموظف الدعم النجدي لا يتكلمان بالطريقة نفسها، والخلط بينهما هو الخطأ الذي يجعل بيانات الدعم الاصطناعية تبدو مزيّفة لمتحدث أصلي.
العميل يقول أبيك، وش ذا، يا رجال. الموظف لا يفعل ذلك أبداً — هذه صيغ
غير رسمية أكثر من اللازم لمن يمثّل شركة. للموظف مستواه الخاص: طال عمرك، سم،
أبشر، حقك علينا.
لذلك الفحص اتجاهي. لكل لهجة نحتفظ بقائمتين: علامات يجب أن يستخدم الموظف إحداها، وعلامات يُمنع عليه استخدامها. المحادثة التي يقلّد فيها الموظف كلام العميل غير الرسمي تفشل، حتى لو كانت كل كلمة فيها نجدية صحيحة.
هذه الاتجاهية هي ما لا يضبطه النموذج العام من تلقاء نفسه، وليست شيئاً يمكن ضمانه بالتوجيه وحده — لا بد من فحص المخرجات.
المبالغة
الخطأ المعاكس هو نموذج قيل له "استخدم علامات نجدية" فاستخدمها كلها، في كل دور. الكلام الحقيقي لا يُتبَّل بالتساوي.
نحدّ من كثافة العلامات بطريقتين: لا يجوز أن يحمل دور واحد للعميل ثلاث علامات لهجة ثقيلة أو أكثر، ولا يجوز أن تتجاوز المحادثة ستاً عبر كل أدوار العميل. كلا الرقمين جاء من قراءة مخرجات بدت خاطئة ثم تحديد السبب.
المبدأ نفسه ينطبق على عبارات الضيافة لدى الموظف. لغة الخدمة السعودية دافئة فعلاً
— أبشر، من عيوني، على راسي — لكن موظفاً يقول أبشر في الأدوار الثمانية
كلها هو قالب، لا شخص. لا يجوز أن تظهر أي عبارة متتبَّعة أكثر من مرتين في
المحادثة الواحدة.
اتساق المجال
قد تكون اللهجة مثالية والمحادثة مع ذلك غير صالحة.
المحفظة الرقمية لا تفتح حساباً بنكياً. مشغّل الاتصالات لا يسترد قيمة طلب طعام. منصة الخدمات الحكومية لا تصدر كاش باك. النماذج تخترع هذه القدرات باستمرار، لأن "اعرض على العميل شيئاً" ميل قوي، والقيد المحدد ضعيف.
نحتفظ بمصفوفة قدرات صريحة لكل علامة تجارية — ما يُسمح لها به وما يُمنع عليها عرضه — ونفحص أدوار الموظف مقابل قائمة الممنوع. كما نشترط ظهور مفردات القطاع فعلياً: محادثة اتصالات بلا ذكر لشبكة أو باقة أو شريحة أو فاتورة ليست محادثة اتصالات حقاً.
الترتيب
الفحص الذي يلتقط أدق خطأ: على موظف الدعم أن يتحقق من هوية العميل قبل التصرف في حسابه.
النماذج تحلّ الحالة ثم تطلب الهوية بشكل روتيني، لأن الحدثين موجودان في بيانات
تدريبها وقيد الترتيب ضعيف. لذلك نحدّد أول دور للموظف يحتوي نمط تحقق (آخر أربعة
أرقام من الهوية، رمز تحقق، رقم طلب)، وأول دور يحتوي نمط وصول للحساب (شايف،
حررت لك، رجعت المبلغ)، ونُسقِط المحادثة إذا جاء الثاني قبل الأول.
هذا الفحص يتجاوز الواقعية. إذا كنت تدرّب نموذج دعم على هذه البيانات، فالترتيب هو بالضبط السلوك الذي تعلّمه إياه.
ماذا يحدث عند الفشل
كل فحص فاشل ينتج رسالة مقروءة — Agent must ask for verification before resolving the case، لا ERR_4012. تُعاد هذه الرسائل إلى النموذج مع مخرجاته
الفاشلة، فيعيد التوليد. حتى ثلاث محاولات، ثم يُوسم الصف بأنه فاشل مع تسجيل رموز
الرفض.
كتابة الرسائل كتعليمات لا كرموز خطأ أمر مقصود: النموذج هو من يقرؤها، لا نحن وحدنا.
عملياً يكلّف هذا نحو 2.25 محاولة لكل صف مُسلَّم. تلك هي التكلفة الحقيقية لبوابة الجودة، وهي معظم تكلفة التوليد.
التكرار
اجتياز كل الفحوص يترك مشكلة واحدة. ضمن تصنيف ثابت — أربع لهجات، أربعة قطاعات، أربعة أمزجة، سبعة عشر موضوعاً — قد تخرج الصفوف في الخلية الواحدة متشابهة جداً. نحقن تنويعاً لكل صف (أسماء، مبالغ، أرقام مرجعية، أسلوب افتتاح، نتيجة، طول المحادثة) ثم نقيس هل نجح ذلك، عبر MinHash على مقاطع الكلمات في كامل المجموعة.
القياس أهم من الحقن. أي أحد يستطيع إضافة أسماء عشوائية؛ السؤال هو هل الصفوف الناتجة متمايزة فعلاً، وهذا سؤال تجريبي عن المجموعة التي سلّمتها.
لماذا يستحق هذا التدوين
المجموعة الاصطناعية بجودة ما رفضتَ تسليمه. خطوة التوليد نداء واحد لواجهة برمجية يستطيعه أي أحد. الفحوص هي العمل — وهي الفرق بين ملف نص عربي معقول ومجموعة بيانات يمكن لأحدهم التدريب عليها.