شو هو TOON وليش عامل هالضجة كلها؟

شو هو TOON وليش عامل هالضجة كلها؟ آخر كم يوم صار في حكي كتير عن داتا فورمات جديد اسمه TOON. هلا قبل ما نفوت بالتفاصيل لازم نعرف شو هو TOON بالأساس. TOON data format هو جديد. أنشأه شخص اسمه Johann Schopplich وهدفه الأساسي انو LLMs يخلص الـ من استعمال JSON. شو هي مشكلة الـ LLMs مع JSON؟ ما كل الناس بتحبه. وشو الحل اللي جاي يقدمه TOON؟ المشكلة هي الـ Tokens. اذا ما بتعرف شو يعني Tokens. المودل عادة بقسم الـ text لـ chunks وبيعلملهم processing وهودي الـ chunks هي الـ Tokens. بهالحالة كل ما زاد عدد Tokens كل ما زادت التكلفة. ومع جيسون كمية الـ Tokens عم تكون عالية وخصوصاً بحالة pretty format. فبطبيعة الحال الـ cost عم يكون عالي. لدرجة انو ممكن تكون JSON token عبارة عن bracket او curly brace او فاصلة او حتى ممكن تكون ولا شي فراغ بس. لهيك صار عنا شي اسمه TOON. Token-Oriented Object Notation. اخذ هالـ data من الـ JSON وعملنا encode بطريقة وفر فيها tokens. خصوصا انو مثلاً خلي الـ keys ينكتبوا مرة وحدة بدل ما ينعادوا مع كل instance من الـ object. بال statement بال Schopplich بيقول تبع انو TOON وفر tokens %60-%40 من JSON. هلا طبعا الموضوع مش بهالبساطة لانو بتفرق حسب الداتا اديش يكون فيها nesting. طبعا هيدا فيديو تاني لحاله منعمله لانو بدو دراسة تانية. وهلق راسملة الموضوع.