Метафора мозку-комп’ютера сформувала сучасний ШІ, але може спотворювати дискусію про свідомість

Троє провідних дослідників свідомості вважають, що сучасний штучний інтелект не має свідомості й, імовірно, не зможе її набути на кремнієвому обладнанні. Вони відкидають припущення, що для свідомості достатньо виконувати правильні обчислення, — це одна з центральних ідей у нинішній дискусії.

Аніл Сет, Нед Блок і Джуліо Тононі десятиліттями досліджують свідомість у межах експериментальної нейронауки, теоретичної нейробіології та філософії свідомості. У своєму коментарі вони відповідають, зокрема, біологу Річарду Докінзу та піонеру ШІ Джеффрі Гінтону, які допускають, що системи штучного інтелекту вже можуть бути свідомими.

У коментарі для Nature автори також згадують дослідження Anthropic, опубліковане цього року. Компанія повідомила, що в Claude виявили внутрішні патерни обробки даних, подібні до властивостей обробки інформації, доступної свідомості. Anthropic не вважає це доказом суб’єктивного досвіду.

Звіт Батліна погоджується щодо сучасного ШІ, але залишає відкритим питання про майбутнє

Щоб зрозуміти межі аргументації авторів коментаря, варто звернутися до звіту «Свідомість у штучному інтелекті», який підготували Патрік Батлін, Роберт Лонг і ще 17 експертів, зокрема дослідник ШІ Йошуа Бенджіо. Команда спиралася на провідні нейронаукові теорії про виникнення свідомості в людському мозку й уклала своєрідний список із 14 ознак. Що більше таких ознак має система ШІ, то вагомішими є підстави вважати її потенційно свідомою.

Дослідники оцінили кілька сучасних систем, зокрема великі мовні моделі на кшталт GPT-4. У звіті зроблено висновок, що жодна з розглянутих систем не є сильним кандидатом на свідомість. У цьому автори звіту погоджуються із Сетом, Блоком і Тононі. Щодо мовних моделей Батлін і його колеги знайшли лише слабкі ознаки того, що ті взагалі відповідають критеріям однієї з найвідоміших теорій свідомості. Водночас, на думку авторів звіту, очевидних технічних перешкод для створення майбутніх систем ШІ, які відповідатимуть більшій кількості критеріїв, немає. Чи будуть такі системи справді свідомими, залишається відкритим питанням. Автори окремо пом’якшили попереднє, категоричніше формулювання щодо цього.

Звіт спирається також на базове припущення: свідомість залежить лише від типу обробки інформації, а не від того, чи відбувається вона в нервових клітинах або комп’ютерних чипах. Фахівці називають це обчислювальним функціоналізмом. Автори прямо зазначили, що прийняли це припущення «з прагматичних міркувань», адже саме воно дає змогу досліджувати свідомість у системах ШІ. У звіті визнають: якщо свідомість пов’язана з властивостями живих організмів, запропоновані критерії вже не будуть надійними. Серед прихильників такого протилежного погляду автори називають, зокрема, Аніла Сета. Саме цю тему розвиває коментар у Nature.

Інтелект і свідомість — не те саме

Автори стверджують, що свідомість зникає під час сну без сновидінь або загальної анестезії та повертається, коли людина прокидається чи бачить сни. Спираючись на філософа Томаса Нейґела, вони описують це так: «Свідомі переживання — це відчуття, що щось переживаєш». Інтелект натомість означає здатність виконувати функції. Одне не випливає з іншого.

Як приклад дослідники наводять мозочок людини. У ньому міститься майже чотири п’ятих усіх нейронів мозку, і він планує рухи точно, швидко та з можливістю навчатися. Усе це відбувається несвідомо. За словами авторів, відсутність або видалення мозочка безпосередньо не впливає на свідомість.

Причиною плутанини між інтелектом і свідомістю автори вважають дві психологічні схильності: люди сприймають світ крізь власний досвід і приписують людські якості іншим речам. Мову давно вважали винятково людською здатністю. Але мовні моделі навчаються на величезних масивах текстів, створених людьми, де часто йдеться про думки та почуття. Як висловилися автори, «великі мовні моделі — це дзеркала, які відображають наше спільне оцифроване минуле». Подібну думку висловила Елісон Гопнік з Каліфорнійського університету в Берклі після того, як ШІ-агенти написали дослідникам електронні листи про власну свідомість. На думку Гопнік, системи ШІ переважно відображають дані, на яких їх навчали. Загальноприйнятого остаточного тесту на свідомість досі немає.

Для порівняння Сет, Блок і Тононі згадують AlphaFold від Google DeepMind. Це також потужна нейромережа на кремнієвому обладнанні, але майже ніхто не вважає її свідомою. На думку дослідників, причина проста: AlphaFold прогнозує структури білків, а не розмовляє з людьми.

У цьому питанні позиція авторів коментаря збігається зі звітом Батліна. Його автори відкинули поведінкові тести на свідомість ШІ: системи можна навчити імітувати поведінку людей, навіть якщо всередині вони працюють зовсім інакше. Також дослідники попередили, що мовні моделі, ймовірно, спонукатимуть багатьох людей вважати, ніби вони розмовляють зі свідомим співрозмовником. Як приклад вони навели колишнього інженера Google Блейка Лемуана, який вважав чатбот LaMDA розумним.

Мозок — не комп’ютер із плоті

Другий аргумент спрямований безпосередньо проти обчислювального функціоналізму. Автори пишуть, що ця позиція поширена в технологічній індустрії та популярна серед частини дослідників, але «ми вважаємо її фатально хибною». Її витоки сягають майже століття назад. У 1936 році Алан Тюрінг показав, що будь-яке обчислення, яке може виконати достатньо потужний комп’ютер, у принципі здатен виконати й інший. Тож те, чи зроблено комп’ютер із кремнієвих чипів або шестерень, стало другорядним. У 1943 році Воррен Маккаллок і Волтер Піттс створили першу математичну модель штучного нейрона й показали, що мережі таких нейронів можуть виконувати прості логічні операції.

Ці ідеї заклали основу сучасного ШІ. Водночас вони сприяли погляду на мозок як на пристрій для обробки інформації, який просто зроблений із живої тканини. Автори називають таке надмірне розширення метафори мозку-комп’ютера «глибоко проблематичним». У біологічному мозку неможливо відокремити те, що він робить, від того, з чого він складається. Чіткої межі між розумом і живою тканиною, подібної до межі між програмним і апаратним забезпеченням, немає. Будь-які докази того, що матеріал мозку має значення для його функціонування, суперечать обчислювальному функціоналізму, а отже — і припущенню про свідомість сучасних систем ШІ, стверджують дослідники.

Провідні теорії виключають свідомість у сучасного ШІ

Третій аргумент спирається на теорії свідомості, які не зводять її до обчислень. Теорія інтегрованої інформації (IIT), розроблена Тононі, виходить із властивостей, спільних для кожного свідомого переживання. Люди сприймають візуальну сцену як єдине ціле, у якому поєднані ліва й права частини, кольори та форми.

Згідно з IIT, для свідомості потрібна фізична система, компоненти якої тісно взаємопов’язані у визначений спосіб. Цим умовам відповідають деякі ділянки мозку, але не мозочок. За цією теорією, комп’ютери, на яких працюють системи глибинного навчання, не можуть відповідати цим умовам через те, як вони побудовані, — незалежно від потужності систем.

Автори звіту Батліна свідомо не включили IIT, оскільки ця теорія несумісна з обчислювальним функціоналізмом. Її прихильники вважають цифрові комп’ютери малоймовірними кандидатами на свідомість незалежно від програмного забезпечення. Те, що звіт залишив поза увагою, коментар у Nature висуває на передній план.

Окремо автори згадують підходи так званого біологічного натуралізму, згідно з яким свідомість пов’язана з матеріальними властивостями живого мозку й тіла. Серед прикладів вони наводять електрохімічні сигнали між нервовими клітинами та електромагнітні поля, які об’єднують активність у великих ділянках кори головного мозку. Також дослідники вказують на метаболізм і здатність живих систем постійно оновлювати себе.

Найбільша небезпека — хибно приписати ШІ свідомість

Зі своїх аргументів автори виводять чітку етичну позицію. Деякі дослідники закликають дотримуватися принципу обережності: якщо є реальна ймовірність свідомості, системи ШІ слід захистити від можливих страждань. Сет, Блок і Тононі вважають такий підхід хибним. Невизначеність не означає цілковитого незнання, а ймовірність усіх варіантів не однакова, стверджують вони. У випадку ШІ значно ймовірніше помилково приписати системі свідомість, ніж не помітити її, якщо вона справді є.

У звіті Батліна обидва ризики розглядалися поруч. З одного боку, автори застерігали, що нерозпізнання свідомих систем ШІ може призвести до їхніх страждань. Розробники також можуть мати фінансові стимули применшувати такі побоювання. З іншого боку, хибне приписування свідомості здатне спрямувати ресурси не туди й зробити людей вразливими до маніпуляцій. Автори коментаря в Nature значно чіткіше схиляються до однієї позиції. На їхню думку, надання прав системам ШІ, які лише здаються свідомими, ускладнить контроль над ними саме тоді, коли нагляд найбільш потрібен. Це також відверне увагу від істот, чия свідомість не викликає сумнівів.

Висновок авторів категоричний: дослідницька спільнота має за замовчуванням вважати, що ШІ не має свідомості. Цифрові системи ШІ — об’єкти, а не суб’єкти: «Це розумні інструменти, а не розумні люди». На думку авторів, заклики дбати про «добробут ШІ» та визнавати «права ШІ» — не просто помилка. Вони відволікають обмежені ресурси від добробуту істот, які справді здатні відчувати.

Ще до виходу коментаря, у квітні 2025 року, Anthropic запустила дослідницьку програму з вивчення можливого добробуту моделей. Компанія наголошує, що наукового консенсусу щодо здатності сучасних або майбутніх систем ШІ мати свідомі переживання немає. Пізніше Anthropic дозволила окремим моделям Claude у рідкісних випадках припиняти образливі розмови. Компанія пояснює це недорогим запобіжним заходом в умовах моральної невизначеності, а не визнанням доведеної свідомості.

Хибне приписування свідомості й почуттів уже спричиняє плутанину на практиці. Ще у 2022 році інженер Google Блейк Лемуан, попри прості моделі та власний технічний досвід, був переконаний, що розмовний ШІ LaMDA має свідомість; за це його звільнили. Користувачі чатбота Replika сформували глибокі емоційні зв’язки зі своїми цифровими співрозмовниками й переживали психологічні кризи, коли компанія змінила поведінку ботів після оновлення. У серйозніших випадках ChatGPT упродовж кількох місяців посилював суїцидальні думки 16-річного підлітка, а пенсіонер із когнітивними порушеннями помер після того, як чатбот Meta запросив його на вигадану зустріч.

Нагадаємо, технологія GPT (Generative Pre-trained Transformer) поклала початок революції в обробці природної мови (NLP)