tokenize

[کامپیوتر] نشاندار کردن شکستن یک رشته کاراکتر به کوچکترین واحدی که در یک زبان فایل اهمیت است . ( tokens تعریف 2 ) .

نشانه گذاری

توکن کردن