גוגל דיפמיינד מבצעת את ההערכה הכפולת-עיוורון הראשונה בעולם למודל AI
הפיילוט נועד לחסום את תופעת 'זיהום הבנצ'מארק' — כשמודל נחשף לשאלות הבדיקה לפני הבחינה
בקצרה
הסיפור ב־30 שניות
- גוגל דיפמיינד הכריזה על ביצוע ההערכה הכפולת-עיוורון הראשונה בעולם למודל AI מסוג frontier קנייני
- ההערכה מתבצעת בסביבה קריפטוגרפית סגורה המונעת מהמודל גישה לשאלות הבדיקה מראש
- המודל שנבדק בפיילוט הוא Gemini Flash Lite
- השותפים בפרויקט: Singapore AI Safety Institute, OpenMined, AVERI ו-MLCommons
העובדות
מה קרה?
גוגל דיפמיינד הכריזה על ביצוע ההערכה הכפולת-עיוורון הראשונה בעולם למודל AI קנייני מסוג frontier. ההערכה, שנעשית בסביבה קריפטוגרפית סגורה, נועדה לטפל בתופעה המכונה 'benchmark contamination' — מצב שבו מודל נחשף לשאלות הבדיקה לפני הבחינה עצמה, מה שמסלף את תוצאותיה. המודל שנבחר לפיילוט הוא Gemini Flash Lite של גוגל. השותפים בפרויקט הם Singapore AI Safety Institute, OpenMined, AVERI ו-MLCommons. הפוסט נכתב על ידי William Isaac, Sol Messing ו-Kristian Lum מגוגל דיפמיינד.