Meta Triển Khai Phương Pháp Kiểm Thử JiTTests Sử Dụng AI Để Phát Hiện Lỗi Trước Khi Đưa Vào Sản Xuất
Theo công bố của Meta. Meta chia sẻ kết quả và tác động tích cực từ việc triển khai phương pháp Catching Just-in-Time Tests (JiTTests) sử dụng mô hình ngôn ngữ lớn để phát hiện lỗi mã nguồn.
- • Meta đã đưa phương pháp Catching JiTTests vào hệ thống sản xuất thực tế.
- • Hệ thống kết hợp quy trình nhận diện ý định và quy trình 'dodgy diff' để sinh mã kiểm thử.
- • Sự kết hợp giữa 'LLM-as-Judge' và công cụ dựa trên quy luật RubFake giúp lọc bỏ các kết quả dương tính giả.
- • Cách tiếp cận con người trong vòng lặp (human-on-the-loop) giúp giảm tải công sức rà soát cho kỹ sư.
Tổng Quan Về JiTTests
Meta đã chia sẻ kết quả và tác động tích cực khi triển khai phương pháp Catching Just-in-Time Tests (JiTTests) vào môi trường sản xuất. Trong bối cảnh hàng trăm triệu dòng mã liên tục phát triển, các phương pháp kiểm thử truyền thống không thể bắt kịp tốc độ. Catching JiTTests tận dụng các mô hình ngôn ngữ lớn để tạo ra các bài kiểm thử thực thi được, nhằm phát hiện những lỗi mà phương pháp kiểm tra mã nguồn dựa trên AI thông thường có thể bỏ sót.
Quy Trình Hoạt Động Năm Giai Đoạn
Hệ thống hoạt động qua năm giai đoạn bao gồm: nhắm mục tiêu và kích hoạt dựa trên điểm rủi ro, hai quy trình tạo bài kiểm thử nhận biết sự khác biệt (dodgy diff và intent-aware), đánh giá tự động bằng tổ hợp LLM-as-Judge, bộ đánh giá dựa trên quy luật RubFake, và cách tiếp cận human-on-the-loop nơi các kỹ sư thiết lập tiêu chí và xem xét kết quả ở mức độ tổng hợp thay vì giám sát mọi đầu ra.
Tác Động Thực Tế Tại Meta
Tính đến thời điểm công bố, 589 kỹ sư tại Meta đã tương tác với kết quả từ JiTTests và ghi nhận tỷ lệ chính xác 60% đối với các phát hiện có thể hành động. Trong nửa đầu năm 2026, phương pháp này đã đóng vai trò quan trọng trong việc phát hiện 74 lỗi quyền Riêng tư nghiêm trọng ở giai đoạn tạo mã khác biệt trước khi đưa vào sản xuất, đồng thời làm giảm 20% sự cố quyền riêng tư nghiêm trọng tổng thể trong giai đoạn đó.
- 1. engineering.fb.comMở nguồn