ما التوكن؟

تطلب من برنامج محادثة أن يلخص لك تقريرًا طويلًا، فيخبرك أن النص طويل جدًا.
تطلب منه إجابة طويلة، فيتوقف في منتصفها.
وتلاحظ أن حد الاستخدام المجاني ينتهي أسرع مع النصوص الطويلة.

هذه المواقف كلها لها سبب واحد: الطريقة التي يقرأ بها النموذج نصك ويعدّه.

ما هو التوكن؟

في الدرس السابق قلتُ إن النموذج يكتب الإجابة قطعة بعد قطعة، وإن القطعة قد تكون كلمة أو جزءًا من كلمة. لهذه القطعة اسم: التوكن (Token)، وهو وحدة نصية.

النموذج لا يقرأ نصك حرفًا حرفًا، ولا كلمة كلمة، كما تقرؤه أنت. قبل أن يصل نصك إليه، تقطّعه أداة خاصة إلى توكنات، وتسمى هذه العملية التقطيع (Tokenization). ثم يتحول كل توكن إلى رقم، والنموذج يعمل بهذه الأرقام.

مثال حقيقي: جملة «أحب القراءة في المساء» تقطّعها أداة OpenAI الحديثة إلى ستة توكنات: «أ» و«حب» و«القراءة» و«في» و«المس» و«اء». لاحظ أن «القراءة» بقيت قطعة واحدة، أما «أحب» فصارت قطعتين.

والتوكن قد يكون كلمة كاملة، أو جزءًا من كلمة، أو حرفًا واحدًا، أو رقمًا، أو علامة ترقيم. فحين تكتب سؤالك يُقطَّع إلى توكنات، وحين يجيبك النموذج يكتب إجابته توكنًا بعد توكن.

كيف يُقسَّم النص إلى توكنات؟

التقطيع ليس عشوائيًا. أداة التقطيع بُنيت من كميات كبيرة من النصوص، وتعلّمت منها القطع التي تتكرر كثيرًا. والقاعدة الأساسية:

• الشائع قطعة واحدة: كلمة «كتاب» توكن واحد، وكذلك كلمة «the» في الإنجليزية.
• الأقل شيوعًا قطع: كلمة «مستشفى» ثلاثة توكنات: «م» و«ست» و«شفى». وكلمة «unbelievable» ثلاثة أيضًا: «un» و«bel» و«ievable».

هذه أمثلة حقيقية من أداة OpenAI الحديثة. لكن لكل شركة أداة تقطيع خاصة بنماذجها، فقد تُقسَّم الكلمة نفسها بطريقة مختلفة في DeepSeek أو Claude.

وماذا عن العربية؟ أدوات التقطيع القديمة كانت تقطّع العربية إلى قطع صغيرة جدًا، فكان النص العربي يحتاج إلى توكنات أكثر بكثير من ترجمته الإنجليزية. أما الأدوات الحديثة فتعلّمت قطعًا عربية أكثر، فصار الفرق صغيرًا. جرّبتُ جملة «أحب القراءة في المساء مع فنجان قهوة» وترجمتها الإنجليزية في أجيال مختلفة من أدوات OpenAI، وهذه النتيجة:

لماذا تهمك التوكنات؟

التوكن ليس تفصيلًا تقنيًا بعيدًا عنك، فبرامج الذكاء الاصطناعي تعدّ كل شيء بالتوكنات:

• حدود المحادثة: لكل نموذج حد لكمية النص التي يستطيع قراءتها في المرة الواحدة، ويُقاس بالتوكنات. وهذا الحد يشمل المحادثة كلها: سؤالك، وإجاباته، وما تلصقه من نصوص. وإذا طالت المحادثة كثيرًا، فقد ينسى بدايتها، وسأشرح ذلك في درس «لماذا ينسى ما قلته؟».
• طول الإجابة: للإجابة الواحدة أيضًا حد من التوكنات، ولهذا قد تتوقف الإجابة الطويلة جدًا في منتصفها.
• حدود الاستخدام المجاني: بعض البرامج تحسب استخدامك بطول ما ترسله وما تستقبله، لا بعدد الرسائل فقط، فمع النصوص الطويلة قد تصل إلى الحد الأقصى أسرع.
• التكلفة: الخدمات المدفوعة للمطورين تُسعَّر بعدد التوكنات، في السؤال وفي الإجابة معًا.

أحب القراءة في المساء مع فنجان قهوة

كيف تطبّق هذا؟

• اجعل طلبك مركّزًا، ولا تلصق نصًا طويلًا إذا كنت تحتاج إلى جزء منه فقط.
• عند تلخيص مستند طويل، قسّمه إلى أجزاء، ولخّص كل جزء وحده.
• إذا طالت المحادثة كثيرًا وبدأت الإجابات تضعف، فابدأ محادثة جديدة، واكتب فيها ملخص ما تحتاجه.
• إذا توقفت الإجابة في منتصفها، فاكتب له: «أكمل».
• إذا كنت تستخدم خدمة مدفوعة تحسب بالتوكنات، فراقب طول ما ترسله وما تطلبه.

اختبر نفسك

1. كتبت جملة من أربع كلمات، فأظهرت أداة عدّ التوكنات أنها ستة توكنات. ما التفسير؟
أ) الأداة أخطأت في العدّ.
ب) بعض الكلمات قُسِّمت إلى أكثر من قطعة.
ج) النموذج أضاف كلمتين من عنده.
د) كل حرف يُعدّ توكنًا.

2. طلبت إجابة طويلة جدًا، فتوقفت في منتصفها. ما السبب الأرجح، وماذا تفعل؟
أ) النموذج غضب منك، فلا تكمل.
ب) الإجابة وصلت إلى حدها من التوكنات، فاطلب منه أن يكمل.
ج) انقطع الإنترنت دائمًا في هذه الحالة.
د) سؤالك كان خاطئًا.

3. محادثة طويلة جدًا بدأت إجاباتها تضعف وتتجاهل ما قلته في بدايتها. ما الحل الأنسب؟
أ) أن تكرر سؤالك بصوت أعلى.
ب) أن تبدأ محادثة جديدة، وتكتب فيها ملخص ما تحتاجه.
ج) أن تلصق نصوصًا أطول.
د) لا حل لذلك.