דוחות מטא-פייסבוק (הדמיה: TY Lim, יחצ)
מטא. טוענים שטביעת הפחמן של הפרויקט היא שביעית משל המתחרה OpenAI | הדמיה: TY Lim, יחצ

מטא (Meta), פייסבוק לשעבר, הכריזה כי היא פותחת את הגישה למודל השפה הטבעית העצום שבנתה עבור חוקרים, כולל הפרטים אודות בסיס פיתוח המודל והקוד שבאמצעותו הוא אומן.

למודל ה-NLP של מטא 175 מיליארד פרמטרים לעיבוד שפה - מודלים מהסוג הזה מאפשרים למידה מנפח עצום ומגוון של טקסט ומדגימים יכולת ליצור טקסט, לפתור בעיות מתמטיות בסיסיות, לענות על שאלות הבנת הנקרא ועוד. על פי הודעת החברה, המודל שלה אומן על בסיס מערך נתונים פומבי, וכעת היא תיתן גישה אליו לחוקרים באקדמיה וממשל, לצד מעבדות מחקר ברחבי העולם.

ג'ואל פינו, מנהלת Meta AI ותומכת ותיקה בשקיפות בפיתוחי טכנולוגיה, אמרה בהודעת החברה כי מטא "מאמינים מאוד שהיכולת של אחרים לבחון את עבודתך היא חלק חשוב במחקר. אנחנו באמת מזמנים את שיתוף הפעולה הזה".

מטא השוותה את המודל שלה למודל GPT-3 של מעבדת OpenAI, הנחשב לסטנדרט בתחום ושיש לו 175 מיליארד פרמטרים גם כן. עם זאת, מטא הדגישה עוד כי בפיתוח המודל שלה, היעילות האנרגטית וכוחות המחשוב הדרושים לפיתוחים מסוג זה נלקחו בחשבון, כך שטביעת הפחמן הנובעת מהפיתוח הינה שביעית מזו של המודל של OpenAI. לפי פינו, OpenAI הפכה את GPT-3 לזמין כשירות בתשלום אך לא שיתפה את המודל עצמו או את הקוד שלו. הרעיון של מטא הוא לספק לחוקרים מודל שפה דומה לחקור.

על פי מגזין MIT, החדשות התקבלו בברכה לאור החשש מהאופן שבו הטכנולוגיה החזקה הזו נבנית על ידי צוותים קטנים, מאחורי דלתיים סגורות. בשל יכולות המחשוב החזקות הנדרשות לפיתוח מודלים כאלה - מה שמייקר מאוד את הפיתוח עצמו - פתיחה של מודל עבור חוקרים רבים תאפשר למוחות רבים יותר לחקור אותו, לבסס עליו פיתוחים חדשים ולבחון את אופן הלמידה שלו, השפעות עליו וגם נזקים אפשריים. על פי פינו, במטא מבינים את הפער בין האקדמיה לתעשייה מבחינת היכולת לבנות מודלים שכאלה.

סיבה אפשרית לכך ש-Meta AI נוקטת בגישה הפתוחה היא הגישה של פינו עצמה, הרואה בשקיפות בסיס לאמון בתחום הבינה המלאכותית. לדידה, מידת האחריות בפיתוח בינה מלאכותית חשובה לא פחות מהביצועים.