تعرف على التوكن ( Token) : القطعة الصغيرة التي تحدد تكلفة الذكاء الاصطناعي

هل تساءلت يوماً عن الوحدة التي تحسب بها خدمات الذكاء الاصطناعي استهلاكك؟ قبل أن تطلب منك فجأة تعلية الاشتراك، من مجاني إلى مدفوع، أو من مدفوع اقتصادي إلى اشتراك أعلى. تلك الوحدة ببساطة هي التوكن ( Token).

الآلة لا تقرأ كلماتك كما تقرأها أنت، بل تقسمها أولاً إلى قطع صغيرة، وهذه القطع هي التوكنات، حيث التوكن قد يكون كلمة كاملة، أو نصف كلمة، أو حتى علامة ترقيم. كلمة قصيرة مثل “بيت” توكن واحد، لكن اسماً نادراً قد يتفتت إلى ثلاثة توكنات أو أكثر. وكل ما تكتبه، وكل ما يجيبك به النموذج، يحسب بهذه الوحدة.

لذلك دائمًا ما ينصحك الخبراء، أن تحاول الكتابة بوضوح ومن غير حشو، وبدء محادثة جديدة كلما شعرت أن القديمة أصبحت طويلة ومشتتة.

يساعد فهم آلية عمل التوكن ( Token) في ثلاثة أشياء تهمك: لماذا تدفع أكثر كلما كتبت أطول، ولماذا تضع الخدمات سقفاً لاستخدامك، ولماذا ينسى النموذج أحياناً بداية محادثة طويلة جداً، فكل محادثة لها سعة محدودة من التوكنات تُسمى “نافذة السياق”، نحدثك عنها في مقال قصير مبسط آخر..