GPT-4 преминава теста на Тюринг. Учените са провели проучване с участието на 500 души
54% от участниците смятат AI за жив човек
Езиковият модел GPT-4 премина теста на Тюринг, както се посочва в статия, публикувана като препринт на Arxiv.org.
Същността на теста е проста: участниците в теста комуникират със събеседник чрез компютър, без да знаят предварително дали този събеседник е човек или машина.
В този случай в проучването са участвали 500 души. Всеки от тях говори с всеки от четиримата събеседници по пет минути, след което трябваше да изрази мнението си дали събеседникът е човек или машина.
Освен GPT-4, тестът включва и модел GPT-3.5, старата програма ELIZA от 60-те години и жив човек. В резултат на това само 22% от участниците считат ELIZA за човек, в случая с GPT-3.5 вече има 50%, а 54% от участниците в теста считат GPT-4 за човек, което позволява на авторите на изследването да заключат, че този езиков модел преминава теста на Тюринг. Между другото, 67% от участниците смятат истинския човек за човек.
Участниците също така оцениха своята увереност при вземането на решение по скала от 0 до 100. Средната увереност за всеки случай беше както следва:
GPT-4: Средната увереност е 70%.
GPT-3.5: Средната достоверност беше 65%
ELIZA: Средната достоверност беше 90%
Жив човек: Средната достоверност беше 80%
https://arxiv.org/abs/2405.08007