يقسّم النموذج النص إلى قطع صغيرة تسمّى توكنات، ثم يتوقّع التوكن التالي واحدًا بعد الآخر.
لماذا يهمّك ذلك؟
تُحسب حدود النماذج وأسعارها غالبًا بعدد التوكنات، لا بعدد الكلمات.
ما «التوكن» (Token) في النماذج اللغوية؟
الإجابة
اختبر فهمك
ما «التوكن» (Token) في النماذج اللغوية؟
يقسّم النموذج النص إلى قطع صغيرة تسمّى توكنات، ثم يتوقّع التوكن التالي واحدًا بعد الآخر.