Mình vừa đọc trang GitHub của Isuru Wijesiri về Harness Engineering 101, bản 1.0, để kể anh em cách hiểu harness cho AI. Model là phần AI nhận yêu cầu rồi tạo câu trả lời cho anh em.
Tài liệu về harness cho AI bắt đầu từ lịch sử chat
Harness là phần chương trình (code) bao quanh model, giữ toàn bộ lịch sử chat. Còn agent dùng model để làm việc và có thể gọi công cụ.
Theo trang GitHub, tài liệu bản 1.0 có 16 chương, xây dần một agent mẫu khoảng 300 dòng. Python là ngôn ngữ dùng để viết phần chương trình minh họa này. Chương nào cũng nêu một lỗi cụ thể, vá bằng cách gọn nhất, rồi nói cách vá đó tốn gì.
API là cổng để chương trình gửi yêu cầu và nhận câu trả lời. Model không tự nhớ gì giữa các lượt, nên chương trình phải gửi lại toàn bộ cuộc chat mỗi khi anh em muốn nó trả lời dựa trên chuyện đã nói. Mỗi lượt, harness dựng lại cuộc chat để gửi cho model và giữ cho cuộc chat không bị mất hay bị cắt thiếu.
Anh em không biết code vẫn có thể dùng cách nhìn này để hỏi đúng chỗ khi AI quên việc, chẳng hạn kiểm tra thông tin cần dùng còn được gửi đi không. Đây là cách mình diễn giải, chưa phải kết quả kiểm tra ứng dụng cụ thể.
Với việc kéo dài, tài liệu nói về lịch sử chat đầy dần, chia việc cho subagent, chạy nền (background) và xem lại chương trình đã gửi gì cho model. Subagent là agent phụ mà chương trình giao cho một phần việc riêng. Ví dụ anh em làm nội dung: khi AI viết sai giọng hoặc quá dài, anh em kiểm tra yêu cầu về giọng văn và độ dài còn đó không.
Mình đọc lại log chạy thử
Mình chạy thử với Claude Sonnet qua Claude Code, không kèm file hay công cụ nào; log là bản ghi lại lần chạy này. Theo log, mình gửi prompt yêu cầu model đóng vai API rồi trả lời câu hỏi về sở thích đồ uống, dựa trên phần lịch sử được cung cấp. Prompt là nội dung anh em gửi để yêu cầu model làm việc.
Lịch sử chat trong lần thử có ba tin: tin đầu nói mình thích cà phê muối, tin thứ hai là lời chào, tin thứ ba hỏi mình thích đồ uống nào. Sau đó mình yêu cầu model giải thích chuyện gì xảy ra nếu chương trình bỏ hai tin đầu. Theo log, Claude Sonnet trả lời sau 8,4 giây cho yêu cầu mình vừa gửi.
Theo log, model trả lời mình thích cà phê muối vì tin đầu tiên trong lịch sử có câu đó. Câu trả lời dài 260 chữ. Model giải thích rằng nếu bỏ hai tin đầu thì chỉ còn câu hỏi về đồ uống, model không còn dữ kiện nào để trả lời đúng.
Trong lần thử này, model chỉ đóng vai API rồi tự giải thích; mình chưa chạy chương trình thật để kiểm tra chuyện bỏ lịch sử.
Người bình luận khen ý tưởng, chê cách viết
Ở luồng thảo luận đi kèm, scosman nhận xét (ý kiến của bạn ấy) rằng model thông minh đến mấy cũng bị hạn chế nếu công cụ kém hoặc yêu cầu chưa rõ. Mình thấy ý này có lý. Khi AI làm dở, anh em xem lại harness trước rồi hẵng sửa prompt.
Người bình luận ahmedfromtunis lại cho rằng tài liệu dùng quá nhiều ẩn dụ, khiến nội dung trở nên khó hiểu hơn. Với anh em mới tìm hiểu agent, mình thấy sau mỗi hình ảnh ví von, tác giả nên nói thẳng chương trình thực sự làm gì.
Người bình luận mindcrime cho rằng harness cũng có thể chứa phần xử lý thông minh, nên cách ví von bộ não và cơ thể chưa đủ. Đây là ý kiến phản biện cách ví von của tài liệu.
Tài liệu chưa chứng minh công cụ nào tốt hơn
Anh em tự làm agent nên đọc từ chương 1 đến 6, từ API và công cụ đến vòng lặp, cách giảm phí gửi lại và chuyện lịch sử đầy dần. Nếu anh em chỉ giao việc hằng ngày cho AI thì chưa cần đọc hết tài liệu này.
Tài liệu này dạy cách hiểu agent, nên mình không dựa vào nó để khuyên anh em chọn công cụ. Mình cũng chưa có log dựng và chạy toàn bộ chương trình minh họa để đánh giá nó trong công việc dài.
Anh em đọc chương 12 để biết chính xác harness đã gửi gì cho model.
Khi agent quên việc, anh em tìm yêu cầu đó trong cuộc chat, rồi dán lại nếu không thấy hoặc nó nằm quá xa phía trên. Anh em chỉ sửa prompt khi yêu cầu vẫn còn mà AI vẫn làm sai.
