التوكن (token)
التوكن (token) هو الوحدة الأساسية للنص التي يقرأها النموذج اللغوي ويكتبها: كلمة كاملة أو جزء من كلمة أو رقم أو علامة ترقيم. لا يرى النموذج حروفًا ولا جملًا بل سلسلة من التوكنات، وكل ما يستقبله أو ينتجه يُحسب بها.
آخر تحديث: 8 نوفمبر 2026
في هذه الصفحة
مقروءة على أجهزتك فقط.
محادثتك مقروءة على جهازك، وعلى أجهزتك الأخرى إن زامنتها. وليس في أي مكان آخر.
غير مقروءة لدينا.
تمرّ رسالتك دون أن تُكتب في أي مكان، ولا تبقى محادثاتك لدينا إلا مشفّرة.
النموذج لا يعرف من أنت.
يتلقى السؤال، لا بريدك ولا حسابك ولا عنوان IP الخاص بك.
لا شيء يبقى في الطريق.
يعود الرد ويُحفظ هنا مشفّرًا؛ وحتى مع المزامنة، لا يصلنا مفتاحك أبدًا مكشوفًا.
كيف يعمل
قبل أن يرى النموذج رسالتك يقطّعها مُجزِّئ نصوص إلى قطع مأخوذة من مفردات ثابتة تضم عشرات الآلاف من المدخلات. الكلمات الشائعة تكون في الغالب توكنًا واحدًا، والكلمات النادرة تتفكك إلى عدة توكنات، وقد يحتاج المصطلح التقني الطويل أو الاسم إلى أربعة توكنات أو خمسة. فكلمة مثل «unbelievable» قد تصبح «un» و«believ» و«able»، بينما تبقى «the» كاملة. ويؤثر في التقطيع أيضًا الحروف الكبيرة والتشكيل ومسافات الجدولة والمسافات الزائدة في آخر السطر. ثم يتحول كل توكن إلى قائمة أرقام، وهذا ما تعالجه الشبكة العصبية فعلًا.
يختلف التقطيع باختلاف اللغة والمُجزِّئ المستخدم في كل نموذج. النص الإنجليزي يستهلك عادةً توكنات أقل لكل كلمة من لغات ذات صيغ أكثر تنوعًا أو أنظمة كتابة أخرى، فقد تكلّف الجملة نفسها في العربية أو اليابانية أكثر مما تكلّف في الإنجليزية. والشيفرة البرمجية والأرقام الطويلة والرموز التعبيرية والروابط تتفتت أيضًا إلى قطع صغيرة كثيرة. وتختلف المُجزِّئات بين عائلات النماذج، فالعدّ الذي تعطيه أداة جهة ما تقدير فقط لنموذج جهة أخرى.
للتوكنات ثلاثة أسباب عملية للاهتمام. أولًا هي مقياس الطول: للنموذج حد لعدد التوكنات التي يتعامل معها دفعة واحدة وحد لما يكتبه في رد واحد. وثانيًا هي مقياس التكلفة: يحاسب المزوّدون عادةً على التوكنات المقروءة (المدخلات) والتوكنات المكتوبة (المخرجات) كلًّا على حدة. والفوترة وزمن الاستجابة وقصّ النص وحدود الاستخدام كلها تنبع من العدّ نفسه، سواء أكانت المهمة تلخيص اجتماع أم بندًا في عقد إيجار أم تصحيح تعبير نمطي (regex) أم ترجمة قائمة طعام. وثالثًا تفسّر السلوك الغريب: نموذج يعمل بالتوكنات لا بالحروف قد يتعثر في ألغاز مثل عدد مرات ظهور الحرف «r» في كلمة «strawberry»، أو عكس سلسلة طويلة. وخوارزميات التقطيع مثل ترميز أزواج البايتات (byte-pair encoding) تبدأ من بايتات منفردة ثم تدمج مرة بعد مرة أكثر الأزواج المتجاورة تكرارًا حتى تتكوّن مفردات بالحجم المطلوب، وهذا ما يفسّر لماذا تصبح المقاطع الشائعة مدخلًا واحدًا بينما تبقى السلاسل النادرة مجزأة.
في NeverNo
في NeverNo تظهر التوكنات في الحدود المعروضة لكل نموذج. فنموذج DeepSeek V4 Flash، وهو نموذج خاص ومجاني، له نافذة سياق من 128,000 توكن ويستطيع كتابة ما يصل إلى 8,192 توكن في رد واحد، أي مساحة لمستند طويل وإجابة طويلة في المحادثة نفسها. وللنماذج الأخرى مساحة أكبر أو أقل، وتذكر صفحة كل نموذج أرقامه.
في واجهة API يُبلَّغ عن الاستهلاك بالتوكنات، والمعامل max_tokens (أو max_completion_tokens) يحدّد طول الرد. ونقطة التضمينات التي تحوّل النص إلى متجهات للبحث تعمل بالتوكنات كذلك. وتشرح صفحة بديل ChatGPT كيف تنتقل من مساعد آخر وتحتفظ بسجلك في متصفحك.
ما يستحق التذكر
التوكن قطعة من النص، غالبًا كلمة أو جزء منها، وليس حرفًا.
النص نفسه قد يستهلك توكنات أكثر أو أقل بحسب اللغة والنموذج.
الحدود والأسعار تُحسب بالتوكنات، للنص الذي ترسله وللنص الذي تستقبله.
المحادثة الطويلة تستهلك توكنات أكثر في كل دورة لأن الرسائل السابقة تُقرأ من جديد.
الأسماء النادرة والشيفرة والكتابات غير اللاتينية تتفتت إلى توكنات أكثر فترفع كلفتها بصمت.
أسئلة شائعة
كم توكنًا في صفحة نصية؟
يتوقف على اللغة والمُجزِّئ. في الإنجليزية يقل متوسط التوكن قليلًا عن الكلمة، فرسالة بريد من 300 كلمة تقارب 400 توكن، وتقرير من عشرين صفحة يبلغ عشرة آلاف توكن أو أكثر. ونص روسي أو عربي أو ياباني بالطول نفسه يكلّف أكثر عادةً. والأدق أن تلصق عينة في صفحة المُجزِّئ التي تقدمها الجهة المطوِّرة لتعرف العدد بالتحديد.
لماذا تحدد التوكنات الحد لا الكلمات؟
لأن النموذج لا يرى الكلمات أصلًا. هو يتلقى سلسلة من التوكنات، والذاكرة والحساب اللذان يحتاجهما يكبران مع طول هذه السلسلة. فعدّ التوكنات يقيس العمل الحقيقي أيًّا كانت اللغة.
ماذا يحدث حين تتجاوز المحادثة حد التوكنات؟
بحسب التطبيق، تُقصّ الرسائل القديمة أو تُلخَّص أو تُحذف، أو يُرفض الطلب. وأضمن حل أن تبدأ محادثة جديدة بملخص قصير للمحادثة السابقة.
اطرح سؤالك الأول
بلا حساب ولا بطاقة. اكتب بأي لغة من اللغات العشر التي يتحدثها NeverNo.
افتح الدردشة