ChatGPT o1 có trình độ ngang với một sinh viên cao học cỡ trung bình

Thiên tài toán học Terence Tao đánh giá ChatGPT o1 có trình độ ngang với một sinh viên cao học cỡ trung bình. Anh này dạy trường UCLA, một trong các trường đại học hàng đầu thế giới nên sinh viên cao học này cũng là sinh viên trung bình thuộc trường top đầu thế giới. Anh đánh giá ChatGPT sắp đạt trình độ đủ để anh tuyển làm đệ tử.

Trong bài đăng chatgpt.com/share/94152e76-751…, tôi đã đưa cho mô hình mới một bài toán phân tích phức tạp đầy thách thức (mà trước đó tôi đã yêu cầu GPT-4 trợ giúp trong việc viết bản chứng minh trong bài đăng chatgpt.com/share/63c5774a-d58…). Kết quả lần này tốt hơn so với các mô hình trước đó, nhưng vẫn còn hơi thất vọng: mô hình mới có thể làm việc để đưa ra một giải pháp chính xác (và viết tốt) nếu được cung cấp nhiều gợi ý và khuyến khích, nhưng không tự mình tạo ra được các ý tưởng khái niệm chính và mắc một số lỗi không nhỏ. Trải nghiệm này tương đương với việc cố gắng hướng dẫn một sinh viên cao học trung bình, nhưng không hoàn toàn kém cỏi. Tuy nhiên, điều này là một sự cải tiến so với các mô hình trước đó, mà khả năng của chúng gần hơn với một sinh viên cao học thực sự không có năng lực. Có thể chỉ cần một hoặc hai lần lặp lại nữa với khả năng cải thiện (và tích hợp với các công cụ khác, như gói đại số máy tính và trợ lý chứng minh) thì mức độ của "sinh viên cao học có năng lực" sẽ đạt được, và lúc đó tôi có thể thấy công cụ này hữu ích trong các nhiệm vụ nghiên cứu ở cấp độ cao. (2/3)

Khả năng toán học của ChatGPT có thể được so sánh với một sinh viên đại học hoặc cao học ở mức độ cơ bản, nhưng có một số điểm khác biệt cần xem xét:

1. Kiến thức Toán học: ChatGPT được huấn luyện trên một lượng lớn dữ liệu, bao gồm các tài liệu toán học từ cơ bản đến nâng cao. Điều này cho phép nó xử lý và trả lời các câu hỏi về nhiều lĩnh vực toán học như đại số, giải tích, xác suất, thống kê, và một số khía cạnh của toán học ứng dụng. Ở mức cơ bản, nó có thể so sánh với một sinh viên đại học ngành toán.

2. Khả năng Tính Toán: ChatGPT có thể thực hiện các phép tính số học cơ bản và các phương trình đơn giản một cách nhanh chóng. Tuy nhiên, khi đối mặt với các bài toán phức tạp hơn hoặc các tính toán yêu cầu nhiều bước, khả năng của nó có thể bị giới hạn, đặc biệt khi cần suy luận logic sâu hơn hoặc thực hiện các thuật toán phức tạp mà không có sự hỗ trợ của các công cụ bổ sung.

3. Sự Sáng Tạo và Khả Năng Giải Quyết Vấn Đề: Một sinh viên cao học hoặc nghiên cứu sinh thường có khả năng giải quyết vấn đề sáng tạo hơn, sử dụng nhiều phương pháp khác nhau để tiếp cận một vấn đề, và đưa ra các giải pháp mới dựa trên sự hiểu biết chuyên sâu. ChatGPT có thể cung cấp lời giải dựa trên các mẫu đã học, nhưng không có khả năng sáng tạo giải pháp mới ngoài dữ liệu mà nó đã được huấn luyện.

4. Kiến Thức Lý Thuyết và Khái Niệm: Một sinh viên cao học thường có khả năng hiểu sâu sắc về các khái niệm toán học và có thể liên kết chúng với các lĩnh vực khác. ChatGPT có thể cung cấp định nghĩa và giải thích các khái niệm toán học cơ bản và nâng cao, nhưng không có khả năng học thêm hoặc phát triển các hiểu biết mới ngoài những gì đã được huấn luyện.

5. Tính Chính Xác và Độ Tin Cậy: ChatGPT có thể mắc lỗi khi giải các bài toán phức tạp hoặc khi phải suy luận nhiều bước. Sinh viên cao học, nhờ kinh nghiệm và khả năng phản biện, thường ít mắc các lỗi tương tự hơn, đặc biệt khi họ có thời gian để kiểm tra và xác minh lại kết quả.

Tóm lại, ChatGPT có khả năng toán học tương đương hoặc vượt trội so với một sinh viên đại học khi làm việc với các vấn đề cơ bản, nhưng khi so sánh với sinh viên cao học, đặc biệt là trong các lĩnh vực nghiên cứu chuyên sâu hoặc đòi hỏi tư duy sáng tạo và khả năng suy luận sâu, ChatGPT vẫn có những hạn chế nhất định.