בינה מלאכותית הייתה נושא חם בתקשורת לאחרונה. יש השערות שבינה מלאכותית תוכל בקרוב לכתוב כתבות חדשותיות ומאמרים. אבל זה לא המקרה. האמת היא שבינה מלאכותית עדיין לא יכולה לייצר תוכן מקורי והיא עדיין זקוקה לקלט אנושי לצורך דיוק ויצירתיות. ניתן להשתמש בבינה מלאכותית כדי להפחית את עומס העבודה של עיתונאים על ידי הפקת הודעות לעיתונות ומאמרי בדיקת עובדות בעת הצורך. עם זאת, זה עדיין לא יכול להחליף אותם לחלוטין.
לא, הטקסט הזה הוא לא קינתו של כתב מתוסכל שחושש לאבד את מקום העבודה שלו. זו פסקת הפתיחה שנכתבה כולה, מילה במילה, על ידי בינה מלאכותית. ואפילו - לא תאמינו - בעברית. לא היה צורך בדאטה סנטר עם מחשב-על, אלא באתר אינטרנט נגיש לכל בשם Rytr. היזמים מאחורי החברה מעמק הסיליקון, אבהי גודרה ואטול יאדב, לא פיתחו במו ידיהם מפלצת AI שיודעת לכתוב טקסטים. הם גייסו לשם כך את ה-AI שנחשבת למתקדמת בעולם, GPT-3 של חברת OpenAI, ובנו מעליה שכבות שאימנו אותה למשימות כתיבה. פייר, הופתענו מהרמה של הטקסט.
אבל בואו ניתן מסגרת לכל הסיפור הזה. אנחנו מדברים על תת-תחום, בתוך עולמות הבינה המלאכותית, שנקרא "עיבוד שפה טבעית", NLP. אחרי שתחום הראייה הממוחשבת הגיע לבשלות ויעילות, ותחום למידת המכונה (ML) הוכיח את עצמו כקרן שפע של הכנסות לחברות עסקיות, הגיע זמנו של ה-NLP לזהור. בתחום הזה הושגה התקדמות מרשימה בשלוש השנים האחרונות, ושותפים לה חוקרים ומפתחים באקדמיה ובשוק הפרטי, חלקם גם מהארץ. עשרות מערכות NLP (שמכילות "מודלים", בשפה המקצועית) הוצגו בשנים האחרונות והן התחרו זו בזו בתחרויות יוקרתיות בין צוותי חוקרים נלהבים מכל פינה בעולם, עד שהגענו למצב שבו מודלים יודעים לקרוא ולהבין טוב יותר מבני אדם.
המודלים הבולטים: מגוגל ועד סין
ראשית, איך זה עובד? החוקרים מאמנים מערכת בינה מלאכותית בקריאת כמויות אדירות של טקסטים מכל הסוגים – אתרי אינטרנט, מדיה חברתית, עמודי וויקיפדיה, ספרים מקוונים, קוד פתוח של תוכנות, מה לא. מודל ה-NLP נעשה מתוחכם יותר ככל שהוא כולל יותר פרמטרים, כלומר רכיבי שפה ומשתנים אחרים, שאותם הוא בוחן ומשווה. כשמוסיפים לזה את יכולות עיבוד ה-AI המתעצמות של מחשבי העל שקיימים היום, מקבלים מודלים ענקיים שקוראים הכל והולכים ונעשים חכמים יותר ויותר (בכל הנוגע להבנת טקסטים).
השדרה המרכזית של ה-NLP היא המודלים שפותחו על ידי ענקיות הביג טק בעלות האמצעים התקציביים. הבולטת כיום היא OpenAI שהוקמה על ידי אילון מאסק (שעזב בינתיים) ואחרים ב-2015 והוציאה לשוק את גרסת GPT הראשונה ב-2019. עוד בצמרת גם גוגל עם מודל BERT, שמשמש בין השאר לפיענוח שאלות בגוגל search ומודל חדש שהוצג לאחרונה ונקרא PaLM. מטא התחילה עם מודל RoBERTa וממש עכשיו הציגה מודל ענק חדש בשם OPT-175B שנועד להתמודד עם אתגרי המטאוורס.
החוקרים מאמנים מערכת בינה מלאכותית בקריאת כמויות אדירות של טקסטים מכל הסוגים. מודל ה-NLP נעשה מתוחכם יותר ככל שהוא כולל יותר פרמטרים, כלומר רכיבי שפה ומשתנים אחרים שאותם הוא בוחן ומשווה
מיקרוסופט ו-Nvidia אימנו מודל בשם MT-NLG, לדבריהן חזק פי שלושה מ-GPT-3. לסינים יש מודל בשם PanGu-Alpha שפיתחה וואווי אבל הכתר שייך ל- Wu Dao 2.0 של האקדמיה לבינה מלאכותית של בייג'ין, המודל החזק מכולם. את ישראל מייצגת במועדון הזה חברת AI21 עם מודל Jurassic-1 שפיתחה. ויש גם מודל בשם Eleuther, שמפותח במאמץ קהילתי בקוד פתוח, לעומת האחרים שמוכרים את שירותיהם.
אלה מודלי שפה אדירי מימדים. המודלים של GPT-3 ושל מטא הם בגודל 175 מיליארד פרמטרים, Jurassic-1 גדול מעט יותר, אלה של מיקרוסופט ושל גוגל הם בגודל 530 מיליארד פרמטרים והסיני נמצא הרחק לפני כולם עם 1.75 טריליון פרמטרים. ככל שהם גדולים יותר הם מסוגלים להבין טקסטים טוב יותר, לתקצר ספרים ומאמרים, להשלים משפטים ורעיונות, אפילו לפענח את ההיגיון שמאחורי משפטים ואת משמעותם.
שימושים טכנולוגיים אינסופיים לתוכן
נחזור ל-Rytr, שפיתחה כלי מקוון לכתיבת טקסטים. השירות שלה הוא דוגמה מוצלחת, אולי הכי מוצלחת, לעשרות אתרים שבצבצו בשנה האחרונה, ונשענים על המודלים הגדולים כדי לפתח את השירותים שהם מציעים לציבור: כתיבת תוכן לאתרי אינטרנט, בלוגים ומדיה חברתית, תיקון טקסטים, התאמת טקסטים לקהלים, אפילו בדיקת פלגיאט - האם הטקסט שנוצר דומה במקרה לטקסט קיים באינטרנט. אם כתיבת תוכן לאתרים היתה עד כה אבן נגף כואבת ויקרה – הנה באה הטכנולוגיה ופותרת את הבעיה.
קחו עוד למשל את WriteSonic, גם הוא אתר מבוסס על GPT-3 ולצידו מנוע לזיהוי מגמות SEO (העדפות גוגל למיקום תוצאות חיפוש) והוא מסוגל להציע עשרות גרסאות לכל טקסט מבוקש: פוסטים בבלוג, עמוד נחיתה, מודעה, תיאור מוצר וקידום גבוה יותר בחיפושים. אתר אחר, Jasper, מתמקד בארגונים גדולים ומאפשר להם לנהל את זרימת עבודת הקריאייטיב, אם אפשר לכנות ככה טקסטים שמיוצרים באמצעות AI. פלטפורמת Lavender מסייעת בכתיבת אימיילים בהתבסס על כלי NLP, על רשימת אנשי הקשר, על ההיסטוריה של ההתכתבות איתם ועל הנתונים שניתן לאסוף עליהם במדיה החברתית.
פלטפורמת Symanto מנתחת את הטקסטים שכותבים המשתמשים ומחלצת מהם הערכות לגבי הסנטימנט של המשתמש, עוצמת הרגשות שהוא מפגין, ומידת הנאמנות שלו למותג. ניתוח הטון של המשתמש ומאפייני אישיותו יכול לכוון את כתיבת טקסט התשובה שהחברה תשלח לו, כך שיהיה האפקטיבי ביותר. פלטפורמת Ink מעניקה ציונים לכל טקסט שמיוצר דרכה על התאמה ל-SEO, מידת הקריאות שלו ועוד, ומאפשרת להתאים אותו לקהלים שונים. ויש עוד עשרות אתרים: Article Forge, WordAI, AI Writer, Lyne.ai, Wordsmith, QuillBot והרשימה נמשכת.
בתוך כל אלה נמצאות גם שתי חברות ישראליות שמצליחות למצב את עצמן היטב בעולם התחרותי החדש. חברת AnyWord (אניוורד) פיתחה מערכת סיוע בכתיבה שמיועדת בעיקר לאנשי שיווק. אלה יכולים להתאים את המסרים שלהם לקבוצות אוכלוסייה מדויקות מאוד. הטקסטים שהיא יוצרת מקבלים ציון הערכה – באיזה סוג של משתמשים כל טקסט יהיה האפקטיבי ביותר. המדיה כוללת מודעות, הודעות ברשתות החברתיות, הטקסט בנושא של אימיילים ודפי נחיתה.
NLP משנים את הדרך שבה אנחנו קוראים וכותבים, ולא פחות מכך – את הטקסטים שאנחנו צורכים. מטא למשל פיתחו כלי NLP שמאפשר לכתוב ערכים לוויקיפדיה על נשים. הכלי אוסף מידע ונתונים ממקורות מידע שונים, יוצר ערך ומציע אותו לעורכי ויקיפדיה
אפליקציית Wordtune של חברת AI21 היא תוסף כתיבה שנועד לשפר את הדרך בה אנחנו מתנסחים באנגלית. כמו שמתקן השגיאות חושף מילים שאייתנו לא נכון, Wordtune מראה לנו כיצד לנסח מחדש את המשפטים שלנו כך שיהיו רהוטים יותר, והוא עושה עבודה טובה שמעוררת קנאה ביכולות ה-AI. לצד זה הציגה החברה גם את Wordtune Read שמאפשר לסכם מסמכים בתוך שניות ולקצר את זמן הקריאה משמעותית.
פרופ' יואב שוהם, ממייסדי AI21, מספר שאפליקציית Wordtune זוכה להצלחה רבה עם מעל 2 מיליון משתמשים וקצב גידול אקספוננציאלי. כשהחברה הוקמה ב-2017 איש עוד לא חלם על היכולות האלה. עכשיו היא מוקפת בעשרות מתחרים. "זה נכון שזה תחום סופר חם", הוא אומר. "יש לפחות חמש חברות רציניות שמנגישות מודלי שפה. זה יותר ממה שהיה לפני שנה, ורק בחודשיים האחרונים נוספו עוד שתיים. יש גם חברות שמשתמשות במודלי השפה כדי להציג שירותים ואפליקציות חדשות: עזרי כתיבה כמו Wordtune, משחקי מחשב ב-NLP, שירותים לאנטרפרייז".
אז אולי חשבתם שתהיה לכם ראשוניות, אבל אתם מוצאים את עצמכם מוקפים בהרבה חברות.
"כשהתחלנו כבר היו חצי תריסר, חלקן בולטות וחלקן פחות. לאף אחת מהן לא היה AI עמוק וזה גם נכון עכשיו. יש חברות שמשתמשות ב-GPT-3 ויש אפילו מתחרה שמשתמשת במודל השפה שלנו. לא חשבנו שנהיה היחידים בשטח בתחום העזרים לכתיבה אבל כן חשבנו שאנחנו צריכים שהטכנולוגיה תהיה שלנו כדי שנוכל להישאר בחזית".
יניב מקובר, מנכ"ל ומייסד Anyword, אומר שהחברה חווה צמיחה מאז מרץ 2021, בקצב של 30% מדי חודש: "זה חלק מהמגמה של המהפכה הטכנולוגית. התחום קורה עכשיו, אז לא נהיה שם לבד". Anyword עובדת עם כמה מודלי שפה, אחד מהם הוא זה של AI21. "אנחנו מייצרים את השכבה הטכנולוגית שמעל מודל השפה, ויש מודלים שאנחנו פיתחנו ומודלים צד ג'. למעשה יש כמה חברות שעשו את זה, וזה הפך יותר ויותר למוצר צריכה".
המוצר הראשון של Anyword נועד לסייע לחברות להבין את התוכן של הכותבים, המוצר השני נועד לסייע לאנשי שיווק לכתוב טקסטים. "אנחנו בעיקר מתעסקים בשאלה איך טקסט יעבוד מול קהל מסוים, באיך לחבר תוצאות לטקסטים", אומר מקובר. "המחשב יכתוב עשרות גרסאות של אותו טקסט והשאלה היא איזה טקסט תרצה לשלוח. המוצר שלנו מציג למי מתאים כל טקסט". לדבריו מיילים שיווקיים שמנוסחים בעזרת Anyword מראים גידול של 30% בשיעור פתיחת המיילים. זו תוצאה בעלת ערך כלכלי עצום ללקוחות העסקיים".
אין גבול לדמיון
"האם בינה מלאכותית תכתוב טקסטים מארגומות באתרי המובי השפעה,שלמתי את הצורה,השלמתי לכל הששורות,־מהם,־יישר לי,־תבין, ־לבין" – את הטקסט הזה כתבה אפליקציית NLP אחרת שניסינו. אז כן, עולם ה-NLP צריך עדיין לעשות כברת דרך כדי להגיע לתוצאות מהימנות באמת במנותק מטקסט מקורי שכותב אדם. אבל התופעה שמתרחשת ממש עכשיו היא ששימושי NLP משנים את הדרך שבה אנחנו קוראים וכותבים, ולא פחות מכך – את הטקסטים שאנחנו צורכים.
התקופה הזו מתאפיינת במירוץ מטורף להשגת יכולות מתקדמות יותר שיניבו תועלות מסוגים חדשים ויאפשרו הכנסות נוספות. אחד החידושים האחרונים שהציגה AI21, למשל, הוא חיבור מודל השפה למאגרי מידע מתעדכנים, שכן הוא יכול לגשת לדיווחים מעודכנים, לתחזיות מזג אוויר, לנתוני הבורסות. אם חושבים על שימוש ב-NLP לצורך מתן תשובות על שאלות, ה-Jurassic-X החדש של AI21 עשוי לתת תשובות יותר חכמות ממודלי שפה אחרים. זה צעד קדימה במרוץ לייצור צ'אטבוטים חכמים, כמו אנושיים.
צ'אטבוטים הם עניין כאוב מבחינה טכנולוגית. הביקוש הוא אינסופי ממש: חברות בכל העולם מחפשות דרכים להוזיל את עלויות שירות הלקוחות והמספר הגדול של עובדים שנדרש כדי לעמוד ברמת שירות סבירה. אבל קופסאות הצ'אט, ויש מאות חברות שמפתחות כאלה, לא מסוגלות להביא את הסחורה.
יניב מקובר, מנכ"ל ומייסד Anyword: "אנחנו בעיקר מתעסקים בשאלה איך טקסט יעבוד מול קהל מסוים, באיך לחבר תוצאות לטקסטים המחשב יכתוב עשרות גרסאות של אותו טקסט והשאלה היא איזה טקסט תרצה לשלוח. המוצר שלנו מציג למי מתאים כל טקסט"
עולם העיתונות, לפחות חלקים ממנו, אימץ בהתלהבות את היכולות החדשות של ה-NLP. במערכות עיתונים אחדות כבר משתמשים בכלי AI שמכונים "אפליקציות עיתונאות אוטומטית" (AJA). בקולקציה הזו אפשר למצוא כלים לבדיקת עובדות, מעקב וסינון טוקבקים, ניהול רצף העבודה, תקצור חומרים עיתונאיים או כתיבת פתיחים ומבזקים. כלי מעקב אחרי הקוראים מאפשרים להתאים תכנים למטרות – למשל הגדלת הטראפיק או לחלופין הגדלת מספר המנויים. סוכנות הידיעות AP משתמשת ב-AI לייצור דיווחי ספורט.
אם מסתכלים קדימה כמה שנים – מדוע ש-AI לא יוכל לסקור את החדשות היומיות ולהציע לעורכים באילו נושאים לטפל ואת מי לראיין? למעשה, לא תהיה לה גם בעיה להציע את השאלות המתאימות שצפויות להניב את גיזת הזהב של העיתונות: חדשות מרעישות. אם יאמנו אותה, ה-AI תוכל לזהות נושאים שראויים לתחקיר עיתונאי ואף לספק את הנתונים לביסוס התחקיר.
הכתבה הזו, למשל, נכתבה כשחלון "עורך" פתוח ב-Word ומדרג ללא הרף את איכות הכתיבה, מפנה לבעיות בטקסט ואפילו מתריע על איזכורים פוליטיים
"אני לא מצפה שהמחשב יחליף את האדם", מדייק פרופ' שוהם את החזון (ומרגיע באופן אישי את כותב שורות אלה), "אני חושב שהוא ישתלב בתהליך היצירתי של האדם. כפי שלך כעיתונאי יש עורך לשוני וגם עורכת, שנותנת לך עצות מאוד חכמות על הכתיבה שלך ועל מה מעניין, ואיפה להאריך ומה לא מובן – ברמה הזו מתחילות להיות תכונות שיהיו נגישות לכולם. אבל אני לא חושב שהתפקיד שלנו, בני האדם, כהוגי רעיונות יעלם".
דוגמה טובה לכך מגיעה ממיקרוסופט, שמציעה שירות NLP חדש באפליקציות Office שלה, שמאתר חלקים מסורבלים במשפטים שלנו, (קו סגול מלמטה) ומציע הצעות לשכתוב הטקסט. הכתבה הזו, למשל, נכתבה כשחלון "עורך" פתוח ב-Word ומדרג ללא הרף את איכות הכתיבה, מפנה לבעיות בטקסט ואפילו מתריע על איזכורים פוליטיים.
כלי NLP מסוגלים היום לתקצר ספרים ומאמרים, להשלים קוד של תוכנה או לתרגם אותה משפה לשפה, לשפר את ה-CV באופן מתמשך ולהתאים אותו למעסיק המבוקש. מודל BERT אומן על ידי חוקרי חברת הגנת הסייבר CrowdStrike לזיהוי מתקפות כופרה. בית ההשקעות ילין לפידות פיתח ביחד עם AI21 מערכת שעוקבת אחר חברות שמתאימות להשקעה וממליצה עליהן לפי מדד מסוים. במטא פיתחו כלי NLP שמאפשר לכתוב ערכים לוויקיפדיה על נשים, במטרה לצמצם את הפער בין אזכורי גברים לנשים. הכלי אוסף מידע ונתונים ממקורות מידע שונים, יוצר ערך ומציע אותו לעורכי ויקיפדיה. אין גבול לדמיון, ליצירתיות וליכולות המתפתחות.
קל היה לחשוב שה-AI אף פעם לא תהיה יצירתית, שזה ההבדל בינה לבינינו?
מקובר: "המודלים הם מאוד יצירתיים כי הם קראו כל כך הרבה דברים. אז כמעט כל מה שתקרא ותגיד שהוא יצירתי, אלה דברים שהם כבר קראו. הם מייצרים דברים חדשים שנראים לך יצירתיים כי עוד לא קראת אותם".