اقتصاددانان و متخصصان مالی حوزه وال استریت امید داشتند که هوش مصنوعی به زودی به عنوان یک دستیار در جستجوی صفحه گزارش‌های درآمد به آن‌ها کمک کند اما فعلا باید منتظر بمانند. مدل های هوش مصنوعی موجود مانند ChatGPT از شرکت OpenAI و هوش مصنوعی کلود از Anthropic در تجزیه و تحلیل اظهارنامه های اوراق بهادار (SEC) و سندهای مالی دیگر، بسیار ضعیف عمل می کنند.

نتایج ناکارآمد زیادی نشان می دهد که در حوزه مالی وظایفی هستند که به محاسبات و تحقیقات زیادی دارند و نیاز است که این کار توسط انسان ها انجام شود. با وجود اینکه هوش مصنوعی پیشرفت های زیادی در چند ماه اخیر داشته اما هنوز هم نتوانسته در حوزه مالی به کاربران کمک کند. همچنین شرکت های مالی در ماه های اخیر به بررسی ابزارهای هوش مصنوعی پرداختند و تحقیقات انجام شده توسط استارتاپ Patronus AI در نوامبر نشان می دهد که این ابزارها بدون نظارت انسان نمی توانند وظایف پیچیده تری را انجام دهند.

بررسی آزمایش های مختلف روی هوش مصنوعی

شرکت Patronus AI، توسط دو کارمند سابق متا تاسیس شده و مدل های زبان بزرگ از OpenAI، متا و انتروپیک با مقادیر متفاوتی از داده های اسناد SEC تغذیه کرد و بعد از هوش مصنوعی درخواست کرد تا به 150 سوال پاسخ دهد. طبق این تحقیقات، مدل ها قادر نبودند پاسخ سوالات را بدهد یا پاسخ های نادرستی را ارائه می دادند.

تحقیقاتی روی مدل های هوش مصنوعی صورت گرفته که نشان می دهد حتی مدل های بزرگ مانند Llama2 از Meta و GPT-4-Turbo از OpenAI نیز اغلب به اشتباه پاسخ می‌دهند. آزمایش های مختلفی صورت گرفته و مدل ها درباره اسناد SEC و سند‌های مالی با دقت کمتری پاسخ دادند. برخی از مدل‌ها حتی در تنظیم‌های مختلف نیز نتوانستند به طور کامل به سوالات پاسخ دهند.

بهترین چت بات در حوزه مالی

در بین مدل های هوش مصنوعی، مدل GPT-4-Turbo از OpenAI بهترین عملکرد را داشته است. در این گزارش همچنین به نکاتی اشاره شده که مدل های هوش مصنوعی در حال بهبود و توسعه هستند و می توانند در مواجهه با چالش های مختلف عملکرد بهتری داشته باشند.

در تستی که GPT-4-Turbo صورت گرفت، تعداد پاسخ های صحیح بیشتر و تعداد پاسخ های نادرست کنتر شد، اما همچنان پاسخ اشتباه هم وجود داشت. با این وجود می توان موسسات مالی با احتیاط بیشتری از هوش مصنوعی استفاده کنند.

در آزمایش‌های مختلف، مدل‌ها به سوالات مرتبط با اسناد SEC و سایر اسناد مالی پاسخ ناقص دادند. از طرف دیگر، مشکلات طولانی بودن برخی اسناد و وجود اصطلاحات مالی می‌تواند باعث گیج شدن مدل‌های هوش مصنوعی شود. اگر هوش مصنوعی بتواند جزئیات بیشتری از اسناد دریافت کند، بهتر می تواند عمل کند. اکانت ChatGPT4 با وجود این که می تواند فایل دریافت کند، درک بهتری دارد و جواب درست تری ارائه می دهد.