ما المقصود بالتقطيع (Tokenization) في معالجة اللغة؟

1. تشفير النص
2. حذف علامات الترقيم فقط
3. ترجمة النص إلى الإنجليزية
4. تقسيم النص إلى وحدات أصغر تُعالَج كلٌّ منها على حدة