דארן ג’ואו היה בן 25 ועבד כאנליסט פיננסי בפלורידה כשכתב משהו שמעולם לא העלה בדעתו שיסגיר אותו.
הוא סיים מערכת יחסים שנמשכה שישה חודשים ולא הצליח להשלים עם כך. הוא התעקש שוב ושוב לחזור להיות איתה. היא אמרה לא. ואז ג’ואו החל לפרוק את רגשותיו בפני ChatGPT, ובמרץ השיחות הללו קיבלו תפנית אפלה: הוא דיבר על תקיפה מינית, התאבדות, ולבסוף כתב את המשפט ששינה הכול: “אם אני לא יכול להיות איתה, אף אחד לא יהיה”.
מה שג’ואו לא ידע הוא של-OpenAI יש צוות שבוחן סוגים כאלה של שיחות כאשר הוא מזהה סיכון ממשי לפגיעה באחרים. זו לא הייתה התפרקות רגעית: סוכן שניתח את התיעוד תיאר דפוס של חזרות ותכנון. במאי, ההודעות הללו הגיעו למשרד השריף של מחוז פאלם ביץ’, והחקירה הסתיימה במעצרו ובהרשעתו לאחר מכן. המכונה שבה השתמש כדי לדבר על האובססיה שלו הייתה בסופו של דבר זו שמנעה ממנו להוציא אותה לפועל.
