Together AI משיקה מסגרת שמייעלת הרצת מודלי AI בעזרת סוכנים אוטומטיים
Together Compiler משתמש בסוכני AI לכתיבה ומיזוג אוטומטיים של קוד GPU, ולפי החברה עולה ב-28% על הפתרון הידני שהיה נהוג עד כה
בקצרה
הסיפור ב־30 שניות
- Together AI פרסמה את Together Compiler — מסגרת לאופטימיזציה מתמשכת של הרצת מודלי AI באמצעות סוכנים אוטומטיים
- לפי החברה, המערכת השיגה 2,118 טוקן לשנייה על מודל Llama 3.2 1B על שבב B200, לעומת 1,649 טוקן לשנייה ב-megakernel בכתיבת יד — שיפור של 28%
- הכלי כותב מחדש וממזג קוד GPU באופן אוטומטי במהלך ריצת המודל, ללא כתיבת קוד ידנית
- המערכת הקודמת של Together AI תמכה במודל אחד בלבד, בגודל batch אחד ולקוח אחד; Together Compiler מיועד לשבור מגבלות אלה
- Together AI עבדה על פיתוח מערכות אופטימיזציית GPU במשך שנתיים לפני ההשקה