GPT-4 предсказывает прибыль лучше профессионалов.
Исследователи из Университета Чикаго продемонстрировали, что большие языковые модели (LLM) могут проводить анализ финансовой отчетности с точностью, сравнимой, а иногда и превосходящей профессиональных аналитиков. Эти результаты были опубликованы в статье под названием «Анализ финансовой отчетности с использованием больших языковых моделей», что может существенно повлиять на будущее финансового анализа и принятия решений.
В ходе исследования было протестировано производительность модели GPT-4 (Generative Pre-trained Transformer 4) – это чётвертая версия модели глубокого обучения, разработанная компанией OpenAI. Основное преимущество GPT-4 по сравнению с предыдущими версиями заключается в его способности к более глубокому пониманию контекста и генерации более качественных и связных ответов. GPT-4 может обрабатывать и анализировать более сложные запросы, а также продолжать начатые тексты с сохранением смысла и стиля." data-html="true" data-original-title="GPT-4" >GPT-4, разработанной OpenAI, в задаче анализа корпоративной финансовой отчетности для прогнозирования будущего роста прибыли. Примечательно, что даже при предоставлении только стандартизированных и анонимных балансов и отчетов о прибылях и убытках, лишенных какого-либо текстового контекста, GPT-4 смогла превзойти человеческих аналитиков.
«Мы обнаружили, что точность прогнозов LLM сопоставима с производительностью узко специализированной модели машинного обучения», — пишут авторы. «Прогнозирование LLM не основано на памяти, использованной в обучении. Мы выяснили, что LLM генерирует полезные повествовательные инсайты о будущем компании».
Исследование показало, что модель GPT-4 превзошла человеческих аналитиков в прогнозировании корпоративной прибыли, достигнув точности 0,604 и F1-оценки 0,609. Исследователи использовали новый подход, предоставляя структурированные финансовые данные и подсказки, имитирующие рассуждения аналитиков.
Ключевым новшеством стало использование подсказок «цепочки рассуждений», которые направляли GPT-4 на имитацию аналитического процесса финансового аналитика: выявление тенденций, вычисление коэффициентов и синтез информации для формирования прогноза. Улучшенная версия GPT-4 достигла 60% точности в прогнозировании направления будущих доходов, что заметно выше диапазона 53-57%, демонстрируемого человеческими аналитиками.
Эти результаты особенно важны, учитывая, что числовой анализ традиционно представляет собой сложную задачу для языковых моделей. «Одна из самых сложных областей для языковой модели — это числовая область, где модель должна выполнять вычисления, проводить интерпретации и делать сложные суждения», — отметил Алекс Ким, один из соавторов исследования.
Некоторые эксперты отмечают, что используемая в исследовании эталонная модель может не представлять собой передовой уровень в количественных финансах. Тем не менее, способность универсальной языковой модели соответствовать производительности специализированных моделей машинного обучения и превосходить человеческих экспертов указывает на разрушительный потенциал LLM в финансовой сфере.
Как показывают результаты исследования, роль финансового аналитика может существенно измениться под влиянием ИИ. Хотя человеческий опыт и суждения вряд ли будут полностью заменены в ближайшее время, мощные инструменты, такие как GPT-4, могут значительно усилить и оптимизировать работу аналитиков, что, возможно, изменит область анализа финансовой отчетности в ближайшие годы.
ИИ продолжает быстро развиваться, и финансовый анализ может стать следующей областью, в которой произойдут значительные изменения. Исследователи создали интерактивное веб-приложение, демонстрирующее возможности GPT-4, однако предостерегают, что его точность должна быть проверена независимо.
