ما «التوكن» (Token) في النماذج اللغوية؟

سهلقراءة دقيقةآخر تحديث 11 أكتوبر 2026

موضوع السؤال:الذكاء الاصطناعي
المزيد من الأسئلة:الذكاء الاصطناعي

الإجابة

يقسّم النموذج النص إلى قطع صغيرة تسمّى توكنات، ثم يتوقّع التوكن التالي واحدًا بعد الآخر.

لماذا يهمّك ذلك؟

تُحسب حدود النماذج وأسعارها غالبًا بعدد التوكنات، لا بعدد الكلمات.

اختبر فهمك

ما «التوكن» (Token) في النماذج اللغوية؟