Ученые из Нанкинского университета и Калифорнийского университета в Беркли нашли способ упростить обучение искусственного интеллекта (ИИ) в сложных задачах — от управления роботами до прохождения видеоигр. Проблема в том, что традиционные подходы часто заставляют ИИ тратить время на бесполезные действия, особенно когда награды за успехи редки и разбросаны.
Новый метод под названием кластерное обучение с подкреплением (CRL) предлагает более разумный путь. Вместо того чтобы оценивать каждую ситуацию отдельно, он объединяет похожие состояния в группы — кластеры. Это помогает ИИ находить закономерности и принимать решения на основе уже накопленного опыта.
Алгоритм анализирует два ключевых показателя: как часто кластер посещается и насколько успешными были действия в нем. Дополнительные награды стимулируют ИИ исследовать новые и перспективные области, а не просто идти наугад.
Эта техника дала высокие результаты в тестах, включая задачи по управлению роботами и игры Atari. По многим показателям CRL обошел существующие современные алгоритмы. При этом метод легко встраивается в уже работающие системы ИИ и не требует полной переделки.
Благодаря такому подходу можно добиться более быстрого и безопасного обучения, что особенно важно для автономного транспорта, энергетики и других ответственных сфер. CRL помогает машинам лучше адаптироваться к реальности, снижая риск ошибок и уменьшив зависимость от человека.
