Thay vì tự kiểm lại mọi thứ AI làm, hãy đòi AI nộp kèm bằng chứng dễ kiểm. Năm cách, kèm câu mẫu.
Bạn chỉ có thể lái thử rồi hy vọng. Không biết thợ đã thay gì, thử gì.
Đã thay má phanh. Đã đạp thử phanh ở 30 km/h. Chưa kiểm dầu phanh. Bạn biết nhìn vào đâu.
Thứ bạn tự mở, chạy lại hoặc nhìn thấy, như phiếu sửa xe ghi rõ đã thay gì.
Tự xác nhận một điều là đúng, bằng cách khác với việc hỏi lại chính AI.
Chỉ rõ tên tệp, dòng code hoặc đường dẫn nơi điều đó được nói đến.
Đoạn code nhỏ chạy xong báo “đạt” hoặc “không đạt”, không cần người đọc.
Danh sách chính xác dòng nào được thêm, dòng nào bị xóa so với trước.
Làm lại đúng các bước và thấy cùng kết quả, như nấu lại theo công thức.
Phần trăm người trả lời khảo sát. Hỏi agent: khi gặp việc lạ. Tin việc lớn: kể cả quyết định quan trọng.
Người dùng tự nói điều họ cần: kết quả dễ kiểm.
Đọc qua bản tóm tắt, chưa đối chiếu từng bảng. Mẫu là người chịu trả lời khảo sát.
án lệ do ChatGPT bịa trong hồ sơ nộp tòa, đủ tên hãng bay, lời trích và số hiệu
Vụ Mata v. Avianca, tòa liên bang New York. Ngày 22/6/2023 tòa phạt hai luật sư và công ty luật tổng cộng 5.000 USD.
Điều rút ra: AI biết án lệ trông như thế nào, chưa chắc biết án lệ có thật. Một nguồn không ai mở chỉ là trang trí.
Câu mẫu đưa vào cuối yêu cầu.
Mở một hai nguồn quan trọng nhất. Nội dung phải khớp, chứ không chỉ mở được.
Nguồn bịa, nguồn nói điều khác, nguồn đã cũ.
Phép thử trả về đạt hoặc không đạt, và AI đọc được kết quả.
Chạy lại một lần để thấy tận mắt. Đọc đầu ra nhanh hơn tự dựng lại việc kiểm.
Test do AI viết để cho qua. Cách bắt: phá thử một dòng, test phải chuyển đỏ.
dòng thay đổi: thường hợp lý
dòng thay đổi: thường quá lớn
Mỗi lần một việc, tối đa khoảng 100 dòng, và nói rõ phần đó để làm gì.
Mốc của hướng dẫn duyệt code Google, dành cho người duyệt. Là quy tắc kinh nghiệm, không phải số cứng.
Một nhóm nghiên cứu lập luận rằng cách chấm điểm có thể thưởng cho việc đoán, nên câu “tôi chưa chạy” ít tự xuất hiện. Đây là lập luận của tác giả, chưa kiểm chứng độc lập.
Làm lại đúng các bước mà ra cùng món thì đáng tin hơn lời khen.
Việc quan trọng: nhờ một phiên mới, chưa thấy lập luận cũ, đọc lại phần thay đổi so với yêu cầu gốc.
Chạy được trên máy AI mà không chạy trên máy bạn. AI khác cũng có thể mắc cùng kiểu lỗi, nên việc quan trọng cần một người đọc.
Minh họa: các số phút là giả định, không phải số đo. Hãy tự bấm giờ với nhóm của bạn.
Mỗi bản tóm tắt: 48 phút giảm còn 18 phút, còn khoảng 38%.
Hai bản mỗi ngày, 20 ngày: 32 giờ so với 12 giờ một tháng cho một người duyệt.
Đặt các yêu cầu bằng chứng ngay trong câu lệnh đưa cho AI, và luôn là người mở bằng chứng ra.