Штучний інтелект засмітив науку: статей стало в рази більше, але цінності в них менше

Широке поширення великих мовних моделей передбачувано призвело до їх використання при написанні наукових робіт. Група вчених спробувала дати кількісну оцінку використанню ШІ при підготовці публікацій. Вийшло неоднозначно: і добре, і погано. Поки ситуацію частково рятують рецензенти, але якщо вони також довіряться ШІ — буде біда.

Джерело зображення: ШІ-генерація Grok 4.1/3DNews

Оскільки натурально бредові статті почали просочуватися навіть у високорейтингові наукові журнали, про що свідчить зросла кількість відгуків на праці після їх публікації, вчені з університетів Берклі (Berkeley) та Корнелла (Cornell) провели аналіз використання ШІ при підготовці наукових робіт до публікації. Вони взяли інтервал між 2018 роком і серединою 2024 року, охопивши періоди до появи великих мовних моделей і після.

Всього було проаналізовано близько 2 млн статей з сайтів препринтів arXiv (1,2 млн) та мережевих журналів SSRN (675 тис.) і bioRxiv (220 тис.). Дослідники пропустили анотації ранніх публікацій (без ШІ) через модель, потім обробили їх ШІ-редактором і знову пропустили через модель, щоб навчити її відрізняти чисто людське творчість від машинного.

Як з'ясувалося, після початку використання ШІ автори значно збільшили подачу робіт. Особливо сильно це проявилося у вчених з Азії та з азійськими іменами. Зростання кількості публікацій склало до 100 % на bioRxiv і SSRN та понад 40 % на arXiv. Дослідники пояснили це допомогою ШІ вченим у подоланні мовного бар'єру, оскільки для багатьох з них англійська мова не була рідною. В цілому це пішло на користь, оскільки дозволило донести роботи до більш широкої аудиторії зрозумілою більшості мовою.

Також ШІ робив тексти «розумнішими» — лінгвістично складнішими, що викликало більше довіри до публікацій. В середньому люди пишуть простіше і не завжди чітко доносять думки. Однак проявилася і зворотна сторона: тексти, написані ШІ, рідше доходили до публікації, залишаючись у статусі препринтів. Тим часом перехід роботи в статус опублікованої різко підвищував її цінність.

Слід зазначити, що перехід у друк — тривалий процес, часто розтягнутий на місяці. З цього випливає, що частина створених за допомогою ШІ статей поки знаходиться в проміжному стані і тому як би недооцінена в проведеній роботі. З часом у друк буде виходити все більше статей, написаних з використанням ШІ. Таким чином, кореляція між ясністю викладу складною мовою (ШІ) і частотою публікацій буде зростати.

Ще однією цінністю підготовлених за допомогою ШІ робіт стало зросле число посилань на дослідження за темою, а також врахування свіжих публікацій. У цьому ШІ значно перевершив людину. Навіть якщо наукова цінність такої ШІ-статті невелика, широка добірка посилань сама по собі робить її корисною з наукової точки зору. Очевидно, це дуже важлива якість, і воно буде тільки розвиватися, якщо автори досліджень не будуть лінуватися перевіряти всі посилання самостійно.

Ще однією цінністю робіт з використанням ШІ визнано застосування широко вживаних термінів замість вузькоспеціалізованих. Це робить наукові публікації зрозумілими більш широкому колу вчених, що вкрай важливо для міждисциплінарних досліджень.

З негативних факторів використання ШІ дослідники виділяють суттєвий розрив між красою викладу і реальним якістю наукової роботи. За привабливим фасадом може ховатися посередність, яку без глибокого занурення в тему легко не помітити.

Автори дослідження також допускають, що могли недооцінити частоту використання ШІ при підготовці наукових робіт, що знижує інформативність їх висновків. Наприклад, вчені могли довірити ШІ підготовку чернетки, а потім суттєво відредагувати її, повністю усунувши маркери машинного походження тексту.

І все ж ШІ — потужний інструмент для вираження ідей, хоча його використання ризикує розмити стандарти якості наукових робіт. Поки на шляху цього стоять люди-рецензенти, але їх катастрофічно не вистачає. Якщо ж і вони візьмуть ШІ на озброєння, ситуація з цінністю наукових публікацій у сучасному світі може погіршитися ще більше. Потрібен розумний компроміс. Але він поки не знайдений.

Хочеш дізнатися більше — читай відгуки