Mình vừa đọc thông báo của nhóm nghiên cứu về việc Claude thiết kế protein bám độc tố bò cạp, và muốn anh em hiểu đúng kết quả. Nhóm nêu 17 trong 211 thiết kế thử trong lab đạt tiêu chí bám độc tố.
Claude thiết kế protein bám đích
Mình giải thích nhanh: binder là protein nhỏ nhóm thiết kế để bám vào một mục tiêu, ở đây là độc tố bò cạp. Anh em cứ hình dung một miếng ghép vừa khít với độc tố.
Trong 64 giờ, model nghiên cứu nội bộ tự làm phần lớn công việc, còn nhóm giám sát và gửi thêm bốn yêu cầu để chỉnh hướng cho việc tìm thiết kế phù hợp. Ở đây, model là bản Claude dùng nội bộ mà nhóm giao việc thiết kế protein.
Nhóm đã đặt mục tiêu và cách đánh giá ngay trong prompt. Anh em có thể hiểu prompt là đoạn yêu cầu mình gõ để giao việc cho AI.
Mình tóm gọn phần thử nghiệm nhé: nhóm gửi 211 thiết kế cho Adaptyv Bio và Twist Bioscience, hai công ty nhận làm nghiên cứu theo hợp đồng, để thử trong lab.
Trong đó, Claude chọn 180 thiết kế để đưa đi thử nghiệm. Nhóm bổ sung thêm 31 thiết kế với sự trợ giúp của nó.
Anh em lưu ý, nhóm chỉ tính một binder là bám đích khi cả hai lab đo thấy nó bám trong mọi lần đo, với KD từ 1 µM trở xuống. Ở đây, KD đo độ bám, còn nhóm yêu cầu thiết kế không bám vào protein đối chứng CLEC12A.
Bám chưa có nghĩa là giải độc. Nhóm chưa thử khả năng trung hòa độc tố trên tế bào hoặc hiệu quả trên động vật, nên anh em đừng đọc kết quả này thành bằng chứng về thuốc giải độc.
Anh em đọc được dữ liệu
Nhóm công bố toàn bộ 211 thiết kế cùng dữ liệu, nên anh em muốn kiểm chứng thì đọc dữ liệu đó. Anh em tìm dữ liệu đo và báo cáo kỹ thuật trên trang thông báo của hãng.
Anh em làm nội dung khi nhờ AI tóm tắt báo cáo khoa học, cứ yêu cầu nó chia hai cột: cái đã đo được và cái mới là kỳ vọng. Câu trả lời đọc trôi chảy chưa chắc đúng, anh em vẫn nên dò lại với báo cáo gốc.
Mình đối chiếu lần chạy trong log
Mình đối chiếu lần chạy thử theo nội dung log được gửi kèm. Log cho thấy mình gõ một prompt cho Claude Sonnet qua Claude Code, công cụ chạy Claude bằng lệnh, không đính kèm file nào.
Prompt yêu cầu tính tỉ lệ qua các khâu, phân biệt điều đã chứng minh và nêu việc còn thiếu trước khi dùng cho người. Theo log được gửi kèm, Claude Sonnet trả lời sau 6,3 giây.
Prompt mình giao giới hạn tối đa 150 từ, còn câu trả lời của Claude Sonnet dài 166 chữ. Nó trả lời vượt giới hạn. Anh em dùng AI cũng nên tự đếm chữ, đừng mặc định nó tuân thủ giới hạn.
Phép thử này cho thấy Claude Sonnet giải thích được số liệu đã cho, chẳng hạn 17/211 thiết kế đạt, khoảng 8,1%. Nó phân biệt được việc bám độc tố với việc trung hòa độc tố, nhưng anh em chưa thể dùng câu trả lời này để đánh giá khả năng thiết kế protein.
Người bình luận muốn thêm bằng chứng
Trong phần bình luận được dẫn kèm, MattGrommes muốn kết quả được đăng ở tạp chí có phản biện thay vì chỉ là thông báo của hãng. Đó là ý kiến của người bình luận về cách công bố.
Bạn sligbad bình luận rằng khi công trình gắn với tên Claude thì phần đóng góp của các nhà khoa học bị mờ đi. Đây là ý kiến về chuyện ai được ghi công, không phải nhận xét về kết quả khoa học.
Trong nghiên cứu, cả 17 thiết kế đạt tiêu chí đều chỉ bám một loại độc tố. Những thiết kế nhắm cùng lúc nhiều độc tố thì không cái nào đạt tiêu chí bám được hơn một loại.
Nhóm còn phải thử với độc tố tinh chế từ nọc thật, rồi đo xem binder có chặn được độc tố trên tế bào không. Nếu anh em làm nghiên cứu sinh học hoặc theo dõi AI trong khoa học, kết quả này đáng đọc vì đã có dữ liệu đo trong lab.
Còn anh em chờ thuốc giải độc bò cạp thì cần chờ thêm bằng chứng trên tế bào và động vật. Mình sẽ chờ bằng chứng giải độc trước khi gọi những protein này là thuốc.
