Cảm giác nhanh hơn khác với số đo. Cách tự chạy một thí nghiệm nhỏ: mười việc, chia ngẫu nhiên, bấm giờ cả phần sửa lại.
Chạy xong bạn thấy nhẹ chân và nghĩ mình đã nhanh hơn.
Hôm nay nóng hơn, đường dốc hơn. Cảm giác thật, đồng hồ cũng thật, nhưng đo hai thứ khác nhau.
Tung đồng xu để quyết định việc nào dùng AI, thay vì tự chọn.
Số nằm giữa khi xếp các lần đo từ nhỏ đến lớn, ít bị một việc quá dài kéo lệch.
Thời gian sửa tiếp sau khi tưởng đã xong, vì bị thiếu hoặc sai.
Cách chọn hay cách đo làm kết quả nghiêng về một phía mà không do AI.
Dải số mà kết quả thật có thể rơi vào. Dải càng rộng thì càng kém chắc.
Bạn quen việc hoặc công cụ dần nên làm sau nhanh hơn làm trước.
16 dev kỳ cựu, 246 việc thật, từ tháng 2 đến 6/2025. Mỗi việc chia ngẫu nhiên được hoặc không được dùng AI.
Công cụ: chủ yếu Cursor Pro với Claude 3.5 và 3.7 Sonnet. Mỗi việc trung bình khoảng hai giờ.
Một nhóm nhỏ, công cụ đầu năm 2025. METR tự gắn nhãn kết quả này đã cũ. Bài học là khoảng cách giữa cảm giác và số đo.
dev, 143 kho mã, hơn 800 việc (24/2/2026)
Nhóm dev cũ nhanh hơn khoảng 18%, khoảng tin cậy từ nhanh hơn 38% đến chậm hơn 9%. Khoảng này đi qua số 0.
METR gọi đây là bằng chứng rất yếu: nhiều dev từ chối làm việc không có AI, mức trả giảm từ 150 xuống 50 USD một giờ.
Cỡ gần nhau, 30 đến 90 phút.
Ghi trước: nhanh hơn bao nhiêu %.
Test đạt, đã đọc lại, đã chạy.
Đồng xu hoặc script. Không đổi sau.
Giờ bắt đầu và kết thúc thật.
Cộng vào đúng việc đó.
Chỉ phân tích khi đủ mười việc.
So trung vị, đối chiếu dự đoán.
Mẫu CSV: mỗi việc một dòng.
Thời gian làm đến khi xong theo định nghĩa của bạn.
Thời gian sửa lại sau đó. Ghi cảm nhận trước khi mở bảng số.
Chỉ cần Python 3, không cài thêm gì.
Làm thật: đừng đặt hạt giống cho lệnh chia việc, lưu kết quả ngay và không sửa.
| Nhóm | Tổng phút từng việc (làm + sửa lại) | Trung vị |
|---|---|---|
| Có AI | 55 · 60 · 25 · 65 · 55 | 55 |
| Không AI | 75 · 60 · 45 · 100 · 30 | 60 |
Việc nào vào nhóm nào do script chia ngẫu nhiên (hạt giống 7 chỉ để ví dụ lặp lại được). Thời gian là số tôi dựng sẵn, không phải số đo thật.
AI nhanh hơn 5 phút, khoảng 8%.
p = 1,000: mọi cách xáo nhãn đều cho chênh lệch ít nhất lớn như vậy. Không có tín hiệu.
Khoảng 95%: từ nhanh hơn 45 phút đến chậm hơn 25 phút. Chưa biết hướng.
AI nhanh hơn bao nhiêu phần trăm theo trung vị, trong ví dụ minh họa. Cùng một dữ liệu, hai cách đếm.
Trung vị 40 và 60 phút khi quên sửa lại, so với 55 và 60 khi có sửa lại.
Phần sửa lại ăn mất phần lớn lợi thế. Đây là cách dễ tự lừa mình nhất.
AI nhanh hơn bao nhiêu phần trăm. Dự đoán và cảm nhận là số giả định, số đo lấy từ đầu ra của script.
Cảm giác lớn hơn số đo nhiều. Đó đúng là điều thử nghiệm của METR đã thấy.
Viết dự đoán trước để bạn không sửa lại ký ức sau khi thấy số.
Cộng 25 phút sửa lại vào đúng việc này, dù đã gần xong. Không nhìn bảng tổng cho đến khi đủ mười việc.
Mười việc, chia ngẫu nhiên, bấm giờ cả phần sửa lại, so trung vị, rồi đọc kết quả bằng đúng độ chắc của nó.