System One Modelləri və Jev
Mətn Generasiyasından Strukturlaşdırılmış Qərarlara: System One Modelləri və Jev
Son bir neçə ildə süni intellekt dilləri anlamaq və insanlarla söhbət etmək mövzusunda inanılmaz sıçrayış etsə də, real proqram təminatı avtomatlaşdırmasında hələ də böyük bir boşluq var. Layihələrdə API-lər vasitəsilə LLM-ləri arxitekturaya inteqrasiya edərkən ən böyük qorxumuz həmişə eyni olub: model bu dəfə JSON-u düzgün qaytaracaqmı? Hallusinasiya olacaqmı? Node.js və ya TypeScript üzərində yazdığımız servislərdə tip xətası (type error) almamaq üçün etdiyimiz saysız-hesabsız try-catch blokları, string parsing-lər və validasiyalar proqramçıların gündəlik kabusuna çevrilib.
Məhz bu problemi kökündən həll edəcək yeni və olduqca maraqlı bir yanaşma ilə qarşılaşdım: TypeSafe AI tərəfindən təqdim edilən Jev və System One modelləri.
LLM-lərdən Fərqi Nədir?
OpenAI və ya Anthropic kimi ənənəvi qabaqcıl modellər tokenləri bir-bir, ardıcıl olaraq (sequential) yaradırlar. Onlar əsasən mətn (string) formatında çıxış verməyə kökləniblər. Bu, təbii ki, chat interfeysləri üçün mükəmməldir. Amma mürəkkəb məlumat strukturlarında, spesifik alqoritmlər tələb edən və ehtimalları anında dəyərləndirməli olan sistemlərdə bu yanaşma həm çox yavaşdır, həm də kövrəkdir (brittle).
Jev isə tam fərqli bir arxitekturaya malikdir. O, mətni və datanı anlayır, lakin heç bir string generasiya etmir. O, paralel sampling istifadə edərək birbaşa bizim əvvəlcədən təyin etdiyimiz tiplərə (type-safe) uyğun strukturlaşdırılmış qərarlar və dəqiq ehtimallar qaytarır. RLCD (Reinforcement Learning for Calibrated Decisions) adlı yeni təlim metodu ilə öyrədilən bu model riyazi olaraq strukturdan kənara çıxa, yəni "hallucinate" edə bilmir. Nə təyin etmisinizsə, tam olaraq o tipdə də cavab alırsınız.
Arxitektura və Performans Üstünlükləri
Mənim üçün bu xəbərdə ən diqqət çəkən məqamlar sürət və maliyyətdir:
-
Gecikmə (Latency): Mövcud "frontier" modellərlə sorğu edəndə end-to-end cavab müddəti 3 saniyədən başlayıb dəqiqələrə qədər uzana bilir. Next.js və ya Flutter ilə yığdığımız real-time interfeyslərdə bu cür gecikmələr istifadəçi təcrübəsini (UX) məhv edir. Jev ilə isə cavab müddəti sadəcə 70ms-500ms arasındadır. Yəni biz eyni intellekt səviyyəsini təxminən 40-200 dəfə daha sürətli əldə edirik.
-
Maliyyət: Xərc baxımından qaydalar yenidən yazılır.
-
Input tokenləri: 1 Milyon token üçün cəmi $0.042 (Böyük modellərdə bu $0.20 - $10 arası dəyişir).
-
Output tokenləri: Tamamilə pulsuzdur. Bəli, pulsuz. Çünki Jev token yaratmır, sadəcə verilmiş məlumat üzərindəki ehtimalları hesablayıb nəticəni təyin olunan JSON/struktur formatında geri qaytarır.
-
Nəticədə bu bizə nə verir?
Məlumat bazalarında (MySQL, PostgreSQL kimi) böyük həcmli dataları işləyərkən (map-reducing), LLM guardrail-ləri qurarkən, istifadəçi davranışlarını təsnifləndirərkən və ya sadəcə kodumuzdakı "smart if-statement"lərdə Jev kimi modellər əvəzolunmaz olacaq.
Süni intellektin sadəcə ekranın bir küncündə bizimlə söhbət edən "çatbot" olmaqdan çıxıb, birbaşa arxitekturamızın mərkəzində sürətli, etibarlı və proqnozlaşdırıla bilən bir qərar mexanizminə (decision engine) çevrilməsinin vaxtı çoxdan çatmışdı. Məncə, əsl proqram təminatı avtomatlaşdırması indi başlaya bilər.
Müəllif
