«Криворукие гуманоиды», или Поговори со мной, машина!
Директор Центра прикладного искусственного интеллекта Сколтеха, руководитель научной группы AIRI Евгений Бурнаев рассказывает, мог ли чат GPT появиться в России, почему Китай скоро обгонит США и может ли ИИ разгадать загадки человеческого мозга.
Что было придумано такого в ChatGPT, чего не было до этого? Почему вдруг такой взрыв интереса?
— Как обычно, это сочетание нескольких факторов. Первый фактор — очень специальная архитектура нейросети, то есть, по сути, очень специальная конструкция вычислительного алгоритма. Используется так называемый механизм внимания — специальный класс алгоритмов, который позволяет оценивать, насколько сильно какие‑то слова в предложении зависят от контекста. Механизм внимания был известен уже давно, однако в процессе проведения экспериментов было замечено, что если использовать очень большие нейросети (с большим числом параметров), которые позволяют делать оценку внимания для текстов большого размера и настраивать параметры нейросетей по огромным выборкам данных, то в результате получаются модели, которые на качественно новом уровне могут извлекать смыслы из текстов. Это второй фактор. Конечно, при этом требуются значительные вычислительные мощности.
Сотрудники компании OpenAI, которые первыми заметили эту тенденцию, продолжили активно инвестировать в данное направление. Третье — был предложен и использован для обучения ChatGPT новый алгоритм с подкреплением на основе обратной связи от пользователя. Для этого требуются значительные средства для получения специальным образом подготовленной выборки данных в виде вопросов и ответов людей на них. В итоге модель ChatGPT на регулярной основе получала обратную связь от пользователей, что позволяло автоматически улучшать ее работу.