Chọn mô hình AI đứng sau công việc Bash của bạn
TechRetriever làm việc với ba loại mô hình: nhà cung cấp AI đám mây qua một endpoint API chuẩn, mô hình chạy cục bộ trên PC của bạn, và mô hình tích hợp sẵn. Hãy chọn trước khi bắt đầu. Lựa chọn của bạn quyết định văn bản prompt đi đâu, nên hãy chốt nó trước khi mở một script riêng tư.
Ba cách kết nối một mô hình
Nhà cung cấp AI đám mây
Mô hình đám mây phù hợp để soạn các script dài hơn và giải thích đoạn mã lạ, và bạn kết nối nó qua một endpoint API chuẩn bằng khóa của chính bạn. Hãy cân nhắc sự đánh đổi. Văn bản prompt, kể cả nội dung của mọi tệp mà agent đọc, đi tới nhà cung cấp đó, còn bản thân khóa vẫn nằm trên PC của bạn.
Mô hình trên PC của bạn
Mô hình cục bộ phù hợp với các script và log riêng tư mà bạn không muốn gửi cho nhà cung cấp. Không có gì rời khỏi PC, vì các prompt không bao giờ đi tới một endpoint bên ngoài. Chất lượng thay đổi theo mô hình bạn nạp, nên hãy thử trên một script nhỏ trước khi dựa vào nó cho một script dài hơn.
Mô hình tích hợp sẵn
Mô hình tích hợp sẵn là loại thứ ba bạn có thể chọn, và bạn không cần nhập endpoint riêng nào. Nó là một trong ba loại. Mô hình nhận văn bản prompt của bạn và của các tệp mà agent đọc, nên đừng để mật khẩu và khóa trong script; các bí mật trong kết quả của công cụ được che đi trước khi chúng tới mô hình.
Nút Test cho bạn thấy gì
Nhấn Test sau khi bạn nhập endpoint. Nút này kiểm tra endpoint có phản hồi không, hiện thời gian phản hồi và hiện cửa sổ ngữ cảnh, tức là lượng văn bản mô hình có thể nhận trong một yêu cầu. Một script dài cộng với log của nó cần cửa sổ lớn hơn một bản sửa một dòng.
Chọn mô hình cho từng việc
Dùng mô hình lớn hơn cho việc tái cấu trúc và logic phức tạp, chẳng hạn một script có nhiều hàm hoặc các vòng lặp phụ thuộc vào nhau. Mô hình nhỏ hơn là đủ cho những chỉnh sửa nhỏ như thêm thông báo cách dùng. Khi một bước khó, run_on_model chỉ gửi đúng bước đó sang mô hình lớn hơn, còn phần còn lại vẫn ở mô hình bạn quen dùng.
Chất lượng khác nhau giữa các mô hình, nên hãy coi mọi kết quả là bản nháp. Ask first dừng lại trước các hành động làm thay đổi thứ gì đó, edit_file hiện một diff, và Shell báo mã thoát thật. Hãy đọc cả ba trước khi chấp nhận.
