Штучний інтелект не сприймає час у форматі годинників і календарів — нове дослідження виявило певні недоліки.
Попри здатність генерувати код, тексти та зображення, сучасні моделі штучного інтелекту мають суттєві труднощі з тим, що для більшості людей є елементарним -- визначенням часу на аналоговому годиннику та читанням календаря.
Цю інформацію повідомляє Live Science.
Науковці з Единбурзького університету протестували низку багатомодальних мовних моделей (MLLM), які обробляють як текстову, так і візуальну інформацію, і виявили, що ці системи регулярно помиляються у таких базових завданнях.
Дослідження було представлено на Міжнародній конференції з репрезентацій навчання (ICLR 2025) і стало доступним 18 березня на препринт-сервері arXiv (поки що не пройшло рецензування).
"Більшість людей навчаються визначати час і користуватись календарями з раннього віку. Наші результати демонструють значну прогалину в здатностях ІІ до виконання цих базових навичок", -- прокоментував провідний автор дослідження Рохіт Саксена. -- "Ці обмеження варто подолати, якщо ми хочемо використовувати ІІ у системах, де важливий точний розрахунок часу -- як-от автоматизація, планування чи асистивні технології".
Для проведення експерименту команда завантажила колекцію зображень годинників і календарів у декілька провідних моделей, зокрема GPT-4o від OpenAI, Gemini 2.0 від Google, Claude-3.5 Sonnet від Anthropic і LLaMA 3.2-Vision від Meta.
Результати виявилися невтішними: більшість моделей помилялися в більш ніж половині випадків -- як у визначенні часу за годинником, так і у встановленні дня тижня для заданої дати.