Agent không nhớ vô hạn. Vì sao nó quên giữa chừng, và khi nào nên dọn, nén hay bắt đầu lại.
Yêu cầu của sếp, vài tệp hồ sơ. Bạn thấy mọi thứ ngay.
Tờ cần tìm nằm dưới ba tờ khác. Bạn vẫn làm được, nhưng chậm hơn và dễ sót hơn.
Mặt bàn của agent. Thứ nằm trên bàn là thứ nó nhìn thấy. Diện tích có hạn.
Một từ ngắn thường là một token. Như đếm gạch thay vì đếm tường.
Tóm tắt cuộc trò chuyện dài rồi làm tiếp từ bản tóm tắt. Như chép ghi chú sang tờ mới.
Vài dòng bạn tự viết để phiên mới biết đang làm gì. Như ghi chú ca trực.
Agent khác làm việc trên bàn riêng và chỉ gửi lại bản tóm tắt. Như nhờ đồng nghiệp tra giúp.
Tệp công cụ nạp lại mỗi phiên. Như tờ nội quy dán sẵn trên tường.
Hai tác vụ: hỏi đáp trên nhiều tài liệu và tìm giá trị trong danh sách. Kết quả giữ ngay cả với mô hình quảng bá là hỗ trợ ngữ cảnh dài.
Mô hình thời 2023, trang tóm tắt không nêu tên mô hình. Mô hình mới có thể khác.
mô hình được thử, trên ba loại tác vụ
Độ tin cậy giảm khi đầu vào dài hơn, và một đoạn gây nhiễu cũng làm kết quả tệ hơn.
Giới hạn do chính tác giả nêu: tác vụ đơn giản hơn công việc thật, không giải thích cơ chế. Đây là báo cáo của một công ty.
Minh họa: cửa sổ 200.000 token, mọi kích thước token là giả định, không phải số đo.
Nếu nửa phần việc là việc cũ đã xong: khoảng 43% cửa sổ. Chỉ còn chỗ cho khoảng 5 tệp.
Bắt đầu lại với bản bàn giao 4.000 token: dùng khoảng 8%, nhét thêm được khoảng 61 tệp.
Như ghi chú ca trực: người vào ca sau đọc một phút là làm tiếp được.
Nhờ agent viết nháp, rồi tự đọc và sửa. Bản tóm tắt do AI viết cũng có thể sót hoặc sai.
Nén có chỉ dẫn khi vẫn làm cùng việc, dọn khi đổi việc, và khi làm lại hãy mang theo một bản bàn giao ngắn do chính bạn đã đọc.