Một nhóm gồm các nhà nghiên cứu của JPMorgan Chase và các học giả đại học đã kiểm tra xem liệu các chatbot ChatGPT và GPT-4 của OpenAI có cơ hội vượt qua hai cấp độ đầu tiên của kỳ thi CFA hay không. Con người thường phải mất 4 năm để hoàn thành cả ba cấp độ của bài kiểm tra, điều này có thể dẫn đến mức lương cao hơn và cơ hội việc làm tốt hơn.
Các nhà nghiên cứu cho biết: “Dựa trên tỷ lệ đậu ước tính và điểm báo cáo trung bình, chúng tôi kết luận rằng ChatGPT có thể sẽ không thể vượt qua CFA Level I và Level II trong tất cả các cài đặt đã được kiểm tra…GPT-4 sẽ có cơ hội tốt hơn để vượt qua CFA Level I và Level II nếu tiếp tục được thúc đẩy”.
CFA Institute đã dành nhiều năm cải tiến các bài kiểm tra của mình để đảm bảo các chuyên gia đang tìm kiếm lợi thế trong sự nghiệp của họ đã quen thuộc với các động lực thúc đẩy tự động hóa. CFA Institute đã thông báo bổ sung các câu hỏi về trí tuệ nhân tạo và phương pháp phân tích dữ liệu lớn vào kỳ thi năm 2017.
Chris Wiese, Giám đốc điều hành giáo dục tại CFA Institute thừa nhận rằng, các mô hình ngôn ngữ lớn sẽ có khả năng trả lời chính xác một số câu hỏi trong bài thi.
“Mặc dù các bài kiểm tra trắc nghiệm và câu hỏi tiểu luận vẫn là những cách thức tuyệt vời để đánh giá việc học và hiểu biết trong một môi trường được giám sát an toàn, nhưng vấn đề tài chính hàng ngày không chỉ thể hiện dưới dạng một loạt các câu hỏi ngắn, độc lập… Đây là lý do tại sao để trở thành CFA charterholder, chúng tôi cũng yêu cầu cần có 4.000 giờ kinh nghiệm làm việc đủ điều kiện, tối thiểu hai người tham khảo, la bàn đạo đức vững chắc và hoàn thành kỹ năng thực hành”.
Ông cho biết, CFA Institute cũng đang xem xét sử dụng một dạng công nghệ mô hình ngôn ngữ lớn để hỗ trợ việc học của các ứng viên CFA.
Cứ vài tháng lại có hàng nghìn thí sinh tham dự ba cấp độ khác nhau của bài thi. Tỷ lệ đỗ của kỳ thi CFA đã giảm xuống trong những năm gần đây, với tỷ lệ đỗ trung bình của kỳ thi Level I đạt 37% vào tháng 8, so với mức trung bình 43% vào năm 2018.
Level I của CFA có 180 câu hỏi trắc nghiệm, trong khi Level II bao gồm các tình huống điển hình và 88 câu hỏi trắc nghiệm. Các nhà nghiên cứu nhận thấy cả hai mô hình ngôn ngữ lớn gặp khó khăn nhiều hơn ở Level II bất kể loại gợi ý nào được sử dụng.
Tuy nhiên, ở Level I, cả ChatGPT và GPT-4 đều hoạt động tốt nhất trong các phần của bài kiểm tra tập trung vào các môn: phái sinh, đầu tư thay thế, tổ tài chính doanh nghiệp, đầu tư vốn cổ phần và đạo đức. Tuy nhiên, cả hai chatbot đều hoạt động tương đối kém trên những chatbot tập trung vào báo cáo tài chính và quản lý danh mục đầu tư.
Ở Cấp độ II, ChatGPT gặp khó khăn trong các lĩnh vực tập trung vào đầu tư thay thế và các thu nhập cố định so với GPT-4, trong khi ChatGPT hoạt động tốt hơn trong các lĩnh vực gắn liền với quản lý danh mục đầu tư và kinh tế.
Hầu hết các lỗi của ChatGPT đều dựa trên kiến thức, trong khi GPT-4 thường mắc lỗi tính toán nhất.