Đo xem AI có giúp bạn nhanh hơn thật không: thí nghiệm cá nhân hai tuần

Dành cho bất kỳ ai dùng AI để viết code hoặc làm việc hằng ngày, kể cả người mới. Không cần biết thống kê. Thuật ngữ nào cũng đi kèm một ví dụ đời thường, và phần tính toán được đánh dấu để bỏ qua nếu bạn không cần.

Số liệu lấy từ nguồn công khai, có liệt kê cuối bài, và tôi đã mở nguồn gốc của các số METR dùng trong bài. Ví dụ ghi là "minh họa" là số tôi dựng sẵn, không phải số đo thật của ai. Cách AI làm việc bên trong chưa ai hiểu hết, và bài này cũng không nói gì về chuyện đó: nó chỉ dạy cách đo kết quả bên ngoài. Hai nghiên cứu được dẫn là của người khác, trên công cụ và thời điểm cụ thể, không phải kết luận về bạn.

---

Tóm tắt nhanh#

• Cảm giác "AI giúp tôi nhanh hơn" và việc nhanh hơn thật có thể khác nhau. Trong thử nghiệm ngẫu nhiên của METR năm 2025, 16 dev kỳ cựu làm 246 việc thật. Việc được dùng AI mất lâu hơn khoảng 19%, dù các dev dự đoán trước là nhanh hơn 24% và sau đó vẫn tin là nhanh hơn khoảng 20%.
• Bản theo dõi đầu năm 2026 của METR (57 dev, hơn 800 việc) nghiêng về hướng AI giúp nhanh hơn, nhưng chính METR gọi dữ liệu là "bằng chứng rất yếu" về mức tăng, vì nhiều dev từ chối làm việc không có AI.
• Bạn có thể tự đo chính mình trong hai tuần: khoảng mười việc cùng cỡ, chia ngẫu nhiên có AI hoặc không, bấm giờ cả phần sửa lại, rồi so trung vị.
• Ba thứ dễ làm hỏng phép đo: tự chọn việc nào dùng AI, quên thời gian sửa lại, và nhìn kết quả giữa chừng rồi đổi cách làm.
• Mười việc không chứng minh được gì. Nó chỉ cho bạn một gợi ý đo được, thay vì chỉ cảm giác.
• Bài có mẫu CSV, một script Python chạy được, một ví dụ minh họa có đáp án và danh sách kiểm. Đừng dùng kết quả để đánh giá đồng nghiệp.

---

Từ khó, nói dễ#

---

Sau bài này bạn giải thích được#

1. Vì sao cảm giác nhanh hơn có thể khác số đo, và vì sao cần đồng hồ.
2. Vì sao phải chia việc ngẫu nhiên và cộng cả thời gian sửa lại thì phép đo mới tương đối công bằng.
3. Vì sao mười việc chỉ là gợi ý, và cách đọc kết quả mà không tự lừa mình.

---

1. Hình dung trước: đôi giày chạy bộ mới#

Hình dung bạn mua một đôi giày chạy mới. Chạy xong, bạn thấy nhẹ chân và nghĩ mình nhanh hơn. Nhưng đồng hồ nói bạn chạy chậm hơn mọi hôm hai phút, vì hôm nay trời nóng hơn và đường dốc hơn. Cảm giác là thật, đồng hồ cũng là thật, nhưng chúng đo hai thứ khác nhau.

Để biết giày có giúp không, một người cẩn thận sẽ chạy nhiều buổi, chọn ngẫu nhiên buổi nào đi đôi mới, bấm giờ mọi buổi và so với nhau. Họ cũng không chỉ tính "thời gian chạy" mà còn tính cả "thời gian bị đau chân sau đó".

Dùng AI cũng vậy. Cảm giác "đỡ phải gõ, đỡ phải nghĩ" là có thật. Nhưng thời gian từ lúc nhận việc đến lúc thật sự xong và không bị trả lại là một thứ khác. Bài này dạy cách bấm cái đồng hồ thứ hai.

Điều rút ra: để biết thứ gì đó có giúp mình hay không, đừng hỏi cảm giác. Hãy chạy một phép so sánh nhỏ và công bằng.

---

2. Người khác đã đo ra sao#

2.1 Thử nghiệm của METR năm 2025#

METR là một tổ chức nghiên cứu độc lập. Họ chạy một thử nghiệm ngẫu nhiên: 16 dev mã nguồn mở kỳ cựu (trung bình khoảng 5 năm kinh nghiệm với chính dự án họ làm), làm 246 việc thật như sửa lỗi, thêm tính năng, tái cấu trúc, trên các kho mã lớn (trung bình hơn 22.000 sao và hơn một triệu dòng code). Mỗi việc được chia ngẫu nhiên thành "được dùng AI" hoặc "không được dùng AI". Công cụ AI chủ yếu là Cursor Pro với Claude 3.5 và 3.7 Sonnet. Thời gian từ tháng 2 đến tháng 6/2025, mỗi việc trung bình khoảng hai giờ, dev được trả 150 USD một giờ.

Kết quả: việc được dùng AI mất lâu hơn 19%. Trước khi làm, các dev dự đoán AI sẽ giúp họ nhanh hơn 24%. Sau khi xong, họ vẫn tin AI đã giúp nhanh hơn khoảng 20%. Các chuyên gia kinh tế và học máy được hỏi dự đoán nhanh hơn khoảng 39% và 38%.

METR tự nêu các giới hạn: chỉ 16 người nên khó khái quát, có thể có thiên lệch chọn mẫu (người tin AI giúp nhiều có thể đã không đăng ký), không loại trừ hiệu ứng học dần khi dùng công cụ quá khoảng 50 giờ, thời gian một phần do dev tự báo, và chỉ áp dụng cho việc trên kho mã quen thuộc. Ngoài ra trang METR hiện gắn nhãn kết quả này đã cũ.

Điều rút ra: con số 19% không phải là "AI làm chậm bạn". Nó là một thí nghiệm trên một nhóm, công cụ và thời điểm cụ thể. Điều đáng học là khoảng cách giữa cảm giác và số đo.

2.2 Bản theo dõi đầu năm 2026#

Ngày 24/2/2026 METR đăng bài "We are Changing our Developer Productivity Experiment Design". Họ chạy lại với 57 dev (10 người cũ và 47 người mới), 143 kho mã, hơn 800 việc. Theo bài, nhóm dev cũ làm nhanh hơn khoảng 18% (khoảng tin cậy từ nhanh hơn 38% đến chậm hơn 9%), nhóm dev mới nhanh hơn khoảng 4% (từ nhanh hơn 15% đến chậm hơn 9%). Cả hai khoảng đều đi qua số 0.

Điều quan trọng hơn: METR nói dữ liệu này là "bằng chứng rất yếu" về mức tăng, vì ngày càng nhiều dev từ chối tham gia do không muốn làm việc mà không có AI (điều này nhiều khả năng làm lệch kết quả theo hướng giảm mức tăng), mức trả giảm từ 150 xuống 50 USD một giờ có thể làm thêm lệch chọn mẫu, và việc đo thời gian trở nên kém tin cậy khi dev chạy nhiều agent cùng lúc. METR vẫn cho rằng nhiều khả năng dev nhanh hơn nhờ AI so với đầu năm 2025, và đang thiết kế lại thí nghiệm.

Điều rút ra: ngay cả nhóm chuyên đo cũng phải đổi cách đo khi công cụ và thói quen thay đổi. Một con số của người khác không thay được con số của bạn.

---

3. Thiết kế thí nghiệm hai tuần#

Hình dung đây là một thí nghiệm nhỏ ở bếp nhà: cùng một món, nấu hai cách, nếm thử mù.

3.1 Tám bước#

1. Chọn khoảng mười việc có cỡ gần nhau. Ví dụ mỗi việc dự kiến 30 đến 90 phút. Mười việc cho hai tuần làm việc, khoảng một việc mỗi ngày.
2. Viết trước dự đoán. Ghi lại: "tôi nghĩ AI sẽ giúp tôi nhanh hơn bao nhiêu phần trăm". Đây là bước METR dùng và là bước dễ bỏ nhất.
3. Định nghĩa "xong" trước khi bắt đầu. Ví dụ: test đạt, code đã tự đọc lại, đã chạy thử. Cùng một định nghĩa cho cả hai nhóm.
4. Chia ngẫu nhiên. Tung đồng xu hoặc dùng script bên dưới. Khoảng một nửa việc làm có AI, một nửa không. Không đổi nhóm sau khi đã thấy việc.
5. Bấm giờ từ lúc bắt đầu đến lúc xong theo định nghĩa ở bước 3. Ghi giờ bắt đầu và kết thúc thật, không ước lượng.
6. Ghi cả phần sửa lại. Nếu sau đó bị trả lại, hoặc bạn nhận ra thiếu, cộng thời gian sửa vào đúng việc đó.
7. Đừng nhìn kết quả giữa chừng. Nhìn sớm sẽ khiến bạn muốn đổi cách làm hoặc chọn việc.
8. Phân tích khi đủ mười việc. So trung vị hai nhóm, rồi đối chiếu với dự đoán ở bước 2.

3.2 Mẫu CSV#

Một việc một dòng. minutes là thời gian làm đến khi xong theo định nghĩa của bạn, rework_minutes là thời gian sửa lại sau đó:

task_id,arm,minutes,rework_minutes,done_checks
T1,no_ai,70,5,pass
T2,ai,35,20,pass

Nên ghi thêm ở một nơi riêng: mô tả việc, dự đoán trước, cảm nhận sau (tăng hay giảm bao nhiêu phần trăm) và ghi chú lạ. Cảm nhận ghi trước khi mở bảng số.

3.3 Script chia việc và phân tích (chạy bằng Python 3, không cần cài gì thêm)#

Lệnh plan chia ngẫu nhiên các việc. Lệnh analyze tính trung vị, chênh lệch, một phép thử hoán vị chính xác và khoảng bootstrap 95%:

#!/usr/bin/env python3
"""Self-experiment helper: randomize which tasks use AI, then compare the times.

  python3 ai_experiment.py plan 10 [seed]    : prints a CSV with the arm of each task
  python3 ai_experiment.py analyze data.csv [--no-rework] : medians, difference, exact permutation test, bootstrap interval

Needs only the Python standard library.
"""
import csv, itertools, random, statistics, sys


def plan(n, seed=None):
    rng = random.Random(seed)
    arms = ["ai"] * (n // 2) + ["no_ai"] * (n - n // 2)
    rng.shuffle(arms)
    print("task_id,arm")
    for i, a in enumerate(arms, 1):
        print(f"T{i},{a}")


def load(path, rework=True):
    rows = list(csv.DictReader(open(path)))
    cost = lambda r: float(r["minutes"]) + (float(r["rework_minutes"]) if rework else 0)
    ai = [cost(r) for r in rows if r["arm"] == "ai"]
    no = [cost(r) for r in rows if r["arm"] == "no_ai"]
    return ai, no


def diff(a, b):
    return statistics.median(a) - statistics.median(b)


def analyze(path, rework=True, seed=1, boots=10000):
    ai, no = load(path, rework)
    obs = diff(ai, no)
    # exact permutation test: every way of choosing which tasks would have been "ai"
    pooled = ai + no
    n, k = len(pooled), len(ai)
    count = total = 0
    for idx in itertools.combinations(range(n), k):
        s = set(idx)
        a = [pooled[i] for i in s]
        b = [pooled[i] for i in range(n) if i not in s]
        total += 1
        if abs(diff(a, b)) >= abs(obs):
            count += 1
    # bootstrap interval for the difference of medians
    rng = random.Random(seed)
    ds = sorted(
        diff([rng.choice(ai) for _ in ai], [rng.choice(no) for _ in no]) for _ in range(boots)
    )
    lo, hi = ds[int(0.025 * boots)], ds[int(0.975 * boots) - 1]
    print(f"tasks with ai: {len(ai)}, without ai: {len(no)}")
    print(f"median minutes with ai:    {statistics.median(ai):.1f}")
    print(f"median minutes without ai: {statistics.median(no):.1f}")
    print(f"difference (ai - no_ai):   {obs:+.1f} min ({obs / statistics.median(no) * 100:+.0f}%)")
    print(f"exact permutation p-value: {count}/{total} = {count / total:.3f}")
    print(f"bootstrap 95% interval:    {lo:+.1f} to {hi:+.1f} min")


if __name__ == "__main__":
    cmd = sys.argv[1]
    if cmd == "plan":
        plan(int(sys.argv[2]), int(sys.argv[3]) if len(sys.argv) > 3 else None)
    elif cmd == "analyze":
        analyze(sys.argv[2], rework="--no-rework" not in sys.argv)

Khi làm thật, đừng truyền hạt giống (seed) cho lệnh plan, để bạn cũng không đoán trước được. Lưu kết quả chia ra một tệp ngay lúc chạy và không sửa lại.

---

4. Ví dụ tính được (minh họa, có thể bỏ qua)#

Đây là ví dụ minh họa với số tôi dựng sẵn, không phải số đo thật của ai. Tôi chạy lệnh chia việc với hạt giống 7 (chỉ để ví dụ lặp lại được), rồi bịa thời gian cho từng việc:

$ python3 ai_experiment.py plan 10 7
task_id,arm
T1,no_ai
T2,ai
T3,ai
T4,ai
T5,no_ai
T6,ai
T7,no_ai
T8,no_ai
T9,ai
T10,no_ai

Sau hai tuần, bảng sample.csv (số phút bịa) như sau:

4.1 Chạy phân tích, hai cách#

Đầu ra thật khi chạy script trên bảng trên, có tính cả phần sửa lại:

$ python3 ai_experiment.py analyze sample.csv
tasks with ai: 5, without ai: 5
median minutes with ai:    55.0
median minutes without ai: 60.0
difference (ai - no_ai):   -5.0 min (-8%)
exact permutation p-value: 252/252 = 1.000
bootstrap 95% interval:    -45.0 to +25.0 min

Và quên phần sửa lại (cờ --no-rework):

$ python3 ai_experiment.py analyze sample.csv --no-rework
tasks with ai: 5, without ai: 5
median minutes with ai:    40.0
median minutes without ai: 60.0
difference (ai - no_ai):   -20.0 min (-33%)
exact permutation p-value: 48/252 = 0.190
bootstrap 95% interval:    -50.0 to +10.0 min

4.2 Đáp án và cách đọc#

Cách đọc trung thực: trong ví dụ này, AI có vẻ nhỉnh hơn một chút, nhưng mười việc không đủ để khẳng định, và cảm giác ban đầu lớn hơn số đo. Quan trọng hơn: nếu bạn quên cộng thời gian sửa lại, bạn sẽ tin vào con số 33% đẹp hơn thực tế.

Lưu ý: đây là số bịa. Công việc thật có thể cho kết quả hoàn toàn khác, kể cả chiều ngược lại.

---

5. Chỗ nào phép đo hỏng#

Hình dung bạn bấm giờ chạy bộ nhưng quên bấm lúc dừng ở đèn đỏ.

5.1 Minh họa: một tuần của một dev#

Đây là tình huống minh họa, không nhắc đến người hay sản phẩm thật.

• Thứ hai, 09:00. Dev chạy plan. Việc đầu tiên rơi vào nhóm AI. Dev ghi dự đoán: nhanh hơn 30%.
• 09:05. Bắt đầu bấm giờ, nhờ AI viết hàm làm sạch dữ liệu.
• 10:20. AI báo xong, test đạt. Dev đóng đồng hồ: 75 phút.
• 10:45. Dev đọc lại, phát hiện thiếu ca ngày trống. Mất thêm 25 phút sửa. Dev ghi vào cột sửa lại, không bỏ qua.
• Thứ sáu, 17:30. Dev hứa với mình không nhìn bảng tổng cho đến hết tuần sau, dù đã thấy vài con số đẹp.
• Thứ sáu tuần sau, 16:00. Đủ mười việc. Dev chạy phân tích, đối chiếu dự đoán, ghi kết luận: AI nhỉnh hơn ở việc có mẫu rõ, không nhỉnh ở việc cần hiểu nghiệp vụ.

Việc nên làm: cộng phần sửa lại vào đúng việc, đừng bỏ qua dù đã "gần như xong". Đây là minh họa nên không chứng minh điều gì. Bằng chứng nằm ở nghiên cứu: thử nghiệm METR ở trên là một ví dụ rằng cảm giác và số đo có thể khác nhau.

---

6. Số liệu và tài liệu đã dùng#

Đọc cho đúng: các nguồn trên cho thấy cảm giác và số đo có thể lệch nhau và việc đo năng suất AI rất khó. Chúng không nói AI chậm hay nhanh với bạn.

---

7. Danh sách kiểm: tám câu hỏi trước khi tin con số của mình#

1. Tôi đã viết dự đoán trước khi bắt đầu chưa?
2. Việc nào dùng AI do đồng xu hay script quyết định, và tôi đã lưu lại chưa?
3. Các việc có cỡ gần nhau không?
4. "Xong" được định nghĩa giống nhau cho cả hai nhóm chưa?
5. Tôi đã cộng mọi thời gian sửa lại vào đúng việc chưa?
6. Tôi có nhìn kết quả giữa chừng và đổi cách làm không?
7. Khoảng tin cậy rộng đến đâu, và tôi có kết luận vượt quá nó không?
8. Tôi chỉ dùng kết quả này để điều chỉnh cách làm của mình, không để đánh giá ai chứ?

---

8. Nhìn cân bằng: đo được gì, chưa đo được gì#

Đo được: một gợi ý về việc nào AI có vẻ giúp, việc nào có vẻ không, và khoảng cách giữa cảm giác của bạn với số đo.

Chưa đo được:

• Mười việc không chứng minh được gì. Khoảng tin cậy rộng, và độ khó từng việc có thể làm lệch.
• Thời gian không phải tất cả. AI có thể giúp bạn học, làm việc ít mệt hơn hoặc chịu nhận việc khó hơn, những thứ này không nằm trong đồng hồ. Ngược lại, nhanh hơn không có nghĩa là hiểu code mình giao. Xem bài Học một thư viện lạ cùng AI mà không mất tay nghề.
• Kết quả của hôm nay có thể không đúng với công cụ ba tháng sau.
• Đừng dùng kết quả để đánh giá đồng nghiệp. Mẫu nhỏ, mỗi người một loại việc, và một con số dễ bị lạm dụng. Hãy đọc Đừng đo năng suất bằng số dòng code trước khi đưa bất kỳ chỉ số nào vào nhóm.
• Nếu muốn đọc các con số về người mới vào nghề một cách cẩn thận, xem Người mới vào nghề: các con số mâu thuẫn nhau.

Đừng thổi phồng: một thí nghiệm cá nhân không phải khoa học chặt chẽ. Đừng coi nhẹ: nó vẫn tốt hơn việc chỉ tin cảm giác, và chi phí chỉ là một bảng ghi thời gian trong hai tuần. Nếu muốn kiểm tra chất lượng kết quả AI trao cho bạn, hãy đọc thêm Làm cho kết quả của AI tự chứng minh.

---

9. Kết luận#

Cảm giác nhanh hơn là một cảm giác. Thời gian từ lúc nhận việc đến lúc thật sự xong và không bị trả lại là một số đo. Hai thứ này có thể lệch nhau, như thử nghiệm của METR đã cho thấy ở một nhóm cụ thể. Hãy chạy một thí nghiệm nhỏ: mười việc, chia ngẫu nhiên, bấm giờ cả phần sửa lại, so trung vị, và đọc kết quả bằng đúng độ chắc của nó.

---

Nguồn tham khảo#

Số liệu lấy từ nguồn công khai tính đến tháng 10/2026. Các số của METR tôi đã mở và đối chiếu từ trang của METR và bài báo arXiv. Hãy mở nguồn gốc để kiểm tra trước khi trích dẫn.

• METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (arXiv 2507.09089) và bài blog của METR, 10/7/2025
• METR, We are Changing our Developer Productivity Experiment Design (24/2/2026)
• Python Software Foundation, tài liệu mô-đun statistics và itertools (cho trung vị và tổ hợp)