Штучний інтелект (ШІ) продовжує вражати своїми можливостями, але нове дослідження Австралійської комісії з цінних паперів та інвестицій (ASIC) виявило його слабке місце. Виявилося, що навіть найсучасніші моделі ШІ, такі як Llama2-70B, не можуть конкурувати з людьми у сфері аналізу та узагальнення складних документів.
Деталі дослідження
ASIC у співпраці з Amazon Web Services провела експеримент, у якому порівнювала резюме, створені людиною та штучним інтелектом, на основі матеріалів, поданих до Об’єднаного парламентського комітету. ШІ мав узагальнити інформацію, зосередившись на посиланнях на ASIC, рекомендаціях щодо конфлікту інтересів та пропозиціях щодо регулювання.
Результати
Результати дослідження виявилися невтішними для ШІ. Резюме, створені моделлю Llama2-70B, отримали в середньому лише 7 балів з 15, тоді як резюме, написані людьми, набрали 12,2 бала. ШІ виявився значно слабшим за такими критеріями, як зв’язність, цілеспрямованість та довжина.
Проблеми ШІ
Дослідники відзначили, що ШІ має труднощі з розумінням нюансів та контексту складних документів. Він часто видає “загальні” резюме, які не відображають всієї глибини інформації, а іноді навіть генерує фактично невірні твердження.
Майбутнє ШІ
ASIC визнає, що швидкий розвиток ШІ та поява нових, більш досконалих моделей, таких як GPT-4 та Llama3, може призвести до покращення результатів у майбутньому. Проте, наразі існують обмеження у використанні ШІ для вирішення складних завдань, які вимагають глибокого розуміння контексту та здатності до критичного мислення.
Дослідження ASIC підкреслює, що, незважаючи на вражаючий прогрес у розвитку штучного інтелекту, він поки що не може повністю замінити людину у сферах, які вимагають аналітичних здібностей та розуміння складних нюансів. Людський інтелект залишається незамінним у багатьох сферах діяльності, і це варто враховувати при впровадженні ШІ-технологій.
