Các nhà phát triển tiết lộ một phương pháp dựa trên GPT-4 mới để tự đánh giá các LLM, đạt được 80% sự đồng ý với đánh giá của con người

Trong một loạt bài viết gần đây thảo luận về việc đánh giá các LLM , người ta đã nhấn mạnh rằng khả năng mở rộng và hiệu quả chi phí đã dẫn đến việc áp dụng phương pháp so sánh GPT-4. Điều này liên quan đến việc sử dụng một mô hình để đánh giá các câu trả lời khác nhau cho cùng một câu hỏi, chọn câu trả lời tốt nhất để tạo ra một hệ thống xếp hạng. Như đã đề cập trước đó, phương pháp này có những hạn chế đáng chú ý. Những người tạo ra xếp hạng LMSYS.org , những người đã giới thiệu phương pháp này cách đây vài tháng, hiện đã quyết định thay thế nó bằng một phương pháp đánh giá mới.

Trong suốt quá trình làm việc, nhóm đã thu thập hàng chục nghìn câu trả lời thực của con người so sánh sở thích cho các câu trả lời khác nhau. Tập dữ liệu mở rộng này cho phép họ hiểu chính xác hơn về những ưu và nhược điểm liên quan đến từng phản hồi. Phương pháp đánh giá mới vẫn dựa trên GPT-4, sử dụng tự động hóa và khả năng mở rộng. Nó có sẵn cho tất cả mọi người ở một mức giá phải chăng.

Để đảm bảo tính công bằng trong quá trình đánh giá bằng GPT-4, chúng tôi đã giải quyết những thách thức sau:

1. Ước tính sai lệch do ưu tiên vị trí.
2. Có xu hướng dài dòng, thích câu trả lời dài hơn mà không xem xét chất lượng của chúng.
3. Xu hướng tự khẳng định, trong đó sở thích nghiêng về câu trả lời của chính mô hình hoặc mô hình được đào tạo về chúng.
4. Khả năng suy luận hạn chế khi đánh giá các câu hỏi toán học và logic.

   

    

    

   Mục lục bài viết

   Sau khi thực hiện nhiều giải pháp khác nhau để giảm thiểu những vấn đề này, các tác giả phát hiện ra rằng các mô hình ngôn ngữ mạnh mẽ như GPT-4 phù hợp rất tốt với sở thích của con người, đạt được hơn 80% sự đồng ý trong đánh giá. Điều này có nghĩa là đánh giá của mô hình trùng khớp với xếp hạng của con người trong 80% trường hợp, mức độ đồng ý có thể so sánh với hai người đánh giá con người khác nhau làm việc trên cùng một nhiệm vụ. OpenAI cũng đã báo cáo rằng ngay cả đồng tác giả của một bài báo, những người cộng tác chặt chẽ, cũng đồng ý trong 82-86% trường hợp.

    

    

    

    

   

   Điểm chuẩn này cho thấy các mô hình khác nhau rõ rệt như thế nào trong các nhóm câu hỏi khác nhau. Khoảng cách lớn nhất là về lý luận và mã hóa, nơi cấp độ của các mô hình vượt xa GPT-4. Tuy nhiên, các mô hình có thể được sử dụng trong cả nhập vai và viết văn bản thông thường. Các tác giả đã xuất bản các mô hình Vicuna v1.3 mới với kích thước từ 7 đến 33 tỷ tham số tại đây https://github.com/lm-sys/FastChat/tree/main#vicuna-weights .Điều quan trọng cần lưu ý là mặc dù đây không phải là một cách đánh giá “hoàn hảo”, nhưng nó thể hiện một sự cải tiến đáng kể so với các phương pháp trước đó. Các tác giả hiện đang nhắm đến việc mở rộng tập dữ liệu của họ để bao gồm 1000 câu hỏi thay vì 80 và họ đang tích cực làm việc để tinh chỉnh các lời nhắc nhằm giảm sai lệch trong ước tính GPT-4. Họ xem xét hai đánh giá khách quan hơn: một đánh giá dựa trên bình chọn của người thật (được gọi là “đấu trường”, nơi các người mẫu thi đấu) sử dụng điểm Elo và một đánh giá khác dựa trên dự đoán từ điểm chuẩn MMLU .

   

    

   Tăng cường so sánh mô hình với GPT-4

   Với sự xuất hiện gần đây của các mô hình ngôn ngữ khác nhau như Vicuna, Koala và Dolly, việc thực hành so sánh các mô hình sử dụng GPT-4 đã trở nên phổ biến. Một lời nhắc duy nhất được cung cấp khi hai câu trả lời cho cùng một câu hỏi, một từ mô hình A và một từ mô hình B, được đưa vào. Sau đó, những người đánh giá được yêu cầu xếp hạng các câu trả lời theo thang điểm từ 1 đến 8, với 1 cho biết mô hình A tốt hơn đáng kể, 8 cho mô hình B và 4-5 cho thấy kết quả hòa. Điểm số 2-3 và 6-7 biểu thị một “mô hình tốt hơn”.

   

Trong một nghiên cứu sâu sắc được thực hiện bởi nhóm tại HuggingFace, họ đã đánh giá câu trả lời của bốn mô hình cho 329 câu hỏi khác nhau. Trong số những phát hiện thú vị, nghiên cứu đã tiết lộ những điều sau:

1. Xếp hạng của bốn mô hình dựa trên so sánh theo cặp là nhất quán giữa đánh giá của con người và GPT-4, mặc dù đã quan sát thấy các khoảng cách xếp hạng Elo khác nhau. Điều này chỉ ra rằng mô hình có thể phân biệt giữa câu trả lời tốt và xấu nhưng gặp khó khăn với các trường hợp ranh giới ít phù hợp với đánh giá của con người.
2. Thật thú vị, mô hình đã xếp hạng các câu trả lời từ các mô hình khác, đặc biệt là những mô hình được đào tạo về câu trả lời GPT-4, cao hơn so với câu trả lời thực của con người.
3. Có mối tương quan cao (Pearson=0,96) giữa điểm số GPT-4 và số lượng mã thông báo duy nhất trong phản hồi. Điều này cho thấy rằng mô hình không đánh giá chất lượng của câu trả lời, nhấn mạnh sự cần thiết phải giải thích thận trọng.

Những phát hiện này nhấn mạnh tầm quan trọng của việc đánh giá cẩn thận khi sử dụng GPT-4 để so sánh mô hình. Mặc dù mô hình có thể phân biệt giữa các câu trả lời ở một mức độ nào đó, nhưng các đánh giá của nó có thể không phải lúc nào cũng phù hợp hoàn hảo với phán đoán của con người, đặc biệt là trong các tình huống nhiều sắc thái. Điều quan trọng là phải thận trọng và xem xét các yếu tố bổ sung khi chỉ dựa vào điểm số GPT-4. Bằng cách tinh chỉnh lời nhắc và kết hợp các đánh giá đa dạng, các nhà nghiên cứu nhằm mục đích nâng cao độ tin cậy và độ chính xác của các ước tính GPT-4.

Bài báo được viết với sự hỗ trợ của cộng đồng kênh telegram .