Scikit-rank — open-source-библиотека для нейросетевого ранжирования

Количество произведений Донцовой уже давно перевалило за две сотни, в связи с чем у любого читателя возникает логичное предположение: «Донцова не сама пишет свои книги». Тем не менее, одно только число выпущенных книг мало что говорит об авторстве. Можно выпускать романы часто и тем не менее сохранять узнаваемый стиль. Да и обратная ситуация – романы публикуются редко – не гарантируют единообразия. Я решил проверить эту гипотезу, опираясь на тексты, задействуя подходы стилометрии и NLP. Несколько авторов с заметно разной манерой письма должны выделиться в отдельные стилевые группы. Конечно нужно оговориться: по опубликованному тексту нельзя быть на сто процентов уверенными в том, что за клавиатурой сидел именно этот автор или что несколько писателей работали над какой-то книгой. Всё-таки исследование измеряет в первую очередь однородность текстов корпуса, а не физическое авторство.

В первой части я классифицировал клодизмы — типичные ошибки, которые Claude допускает при генерации связного текста, — по механизму возникновения и выделил десять классов. Вторая часть — о значении тезиса, то есть главной мысли, которую текст должен донести. Без тезиса модель пишет текст, в котором клодизмы лезут как тараканы, и такой текст не исправить заменой забракованных слов. С тезисом у модели есть то, с чем сверять каждое предложение, — и при написании, и при правке. Разбор построен на первом варианте преамбулы к упражнению «Think of / think about» на сайте e-repa.ru. Преамбула — вводное объяснение, которое ученик читает перед заданиями.

Недавно я наткнулся на статью доктора физико-математических наук о возможности использования LLM в научных исследованиях. Автор убедительно доказал, что такой возможности нет. Но в своих экспериментах в качестве доказательства он использовал поисковый сервис Нейро от Яндекса, а не топовые LLM. Для меня это было настолько странно, что я задался вопросом о том, что часть ученых, возможно, просто не понимают, как использовать нейросети в науке. Эта статья не о научных открытиях с помощью LLM, а о том, что нейросети полезный инструмент, отказ от которого ставит науку в невыгодное положение, бонусом небольшой скандал, интрига и расследование.