CHỦ ĐỀ
#llm
Tuyển tập 3 bài viết kỹ thuật liên quan đến #llm.
Model đề nghị, code của bạn thực thi
Model chỉ thấy phần khai báo của tool, không thấy phần thực thi. Một tool call là yêu cầu có cấu trúc mà code của bạn kiểm tra, kiểm quyền, rồi quyết định chạy.
Cửa sổ ngữ cảnh không phải trí nhớ
Cửa sổ ngữ cảnh là ngân sách hữu hạn, không phải trí nhớ. Cùng một request, hai tỉ lệ ước lượng token lệch nhau 1,6 lần, và bạn không biết mình ở đâu.
Một lần gọi API, rồi quên hết
Mỗi lần gọi API là một hàm thuần: text vào, text ra, xong là hết. Cái bạn tưởng là trí nhớ của model thực ra là lịch sử bạn tự gửi lại, và bạn trả tiền cho nó.