Chief Technology Officer (AI, Software Architecture)

Agent cho LLM tự quyết định gọi tool theo nhiều bước, nên lỗi và rủi ro tăng theo số bước; cần giới hạn quyền và kiểm soát chặt.

• Tool rõ ràng: mô tả và schema tham số chặt, kiểm tra đầu vào bằng code trước khi thực thi.
• Quyền tối thiểu: tool chỉ đọc khi có thể; thao tác ghi, xoá, chuyển tiền cần người xác nhận.
• Prompt injection: nội dung lấy từ web, email, tài liệu là dữ liệu không tin cậy; không để nó điều khiển tool nhạy cảm.
• Giới hạn số bước, timeout, ngân sách token; xử lý lỗi tool và cho phép thử lại có kiểm soát.
• Log và tracing toàn bộ chuỗi hành động để audit.
• Đánh giá theo tỷ lệ hoàn thành tác vụ trên bộ kịch bản.

Người phỏng vấn muốn nghe: workflow cố định thường đủ; chỉ dùng agent tự do khi thật cần.

Overfitting là mô hình học thuộc cả nhiễu của tập train nên kém trên dữ liệu mới; underfitting là mô hình quá đơn giản, kém ngay cả trên tập train.

Phát hiện: so sánh lỗi train và validation. Train tốt mà validation kém là overfit; cả hai đều kém là underfit.

Khắc phục overfitting:

• Thêm dữ liệu, data augmentation.
• Regularization (L1/L2, dropout, weight decay), early stopping.
• Giảm độ phức tạp mô hình, bớt đặc trưng nhiễu.

Khắc phục underfitting: mô hình mạnh hơn, đặc trưng tốt hơn, train lâu hơn, giảm regularization.

Người phỏng vấn muốn nghe: liên hệ với bias-variance trade-off và dùng cross-validation khi dữ liệu ít.

Train để học tham số, validation để chọn mô hình và siêu tham số, test để ước lượng hiệu năng thật lúc cuối và chỉ dùng một lần.

Data leakage là khi thông tin không có ở thời điểm dự đoán lọt vào lúc train, khiến kết quả offline đẹp nhưng chạy thật thì kém.

Ví dụ hay gặp:

• Chuẩn hoá hoặc chọn đặc trưng trên toàn bộ dữ liệu trước khi chia tập.
• Dữ liệu chuỗi thời gian chia ngẫu nhiên thay vì theo thời gian.
• Đặc trưng chứa thông tin từ tương lai hoặc từ chính nhãn (như "ngày huỷ hợp đồng" khi dự đoán khách rời bỏ).
• Cùng một người dùng xuất hiện ở cả train và test.

Hay sai: tinh chỉnh nhiều lần dựa trên tập test, biến nó thành validation.

CIA là ba mục tiêu cốt lõi: Confidentiality (bí mật), Integrity (toàn vẹn), Availability (sẵn sàng). Mọi biện pháp bảo mật đều nhằm bảo vệ ít nhất một trong ba.

• Confidentiality: mã hoá dữ liệu khi lưu và truyền, phân quyền theo least privilege, MFA.
• Integrity: hash và chữ ký số, kiểm soát thay đổi, log audit không sửa được.
• Availability: dự phòng, backup, chống DDoS, vá lỗi kịp thời.

Người phỏng vấn muốn nghe: các yếu tố đôi khi xung đột, ví dụ khoá tài khoản sau nhiều lần sai mật khẩu tăng bí mật nhưng có thể bị lạm dụng để làm người dùng thật không đăng nhập được.

Đối xứng dùng một khoá cho cả mã hoá và giải mã (AES), nhanh; bất đối xứng dùng cặp khoá công khai/bí mật (RSA, ECC), dùng cho trao đổi khoá và chữ ký số; hash là hàm một chiều, không giải mã được.

• HTTPS kết hợp cả hai: bất đối xứng để thoả thuận khoá, đối xứng để mã hoá dữ liệu.
• Mật khẩu: lưu bằng hàm hash chậm có salt như Argon2id, bcrypt hoặc scrypt.

Hay sai:

• Lưu mật khẩu bằng MD5/SHA-256 thuần: quá nhanh, dễ bị dò hàng loạt.
• Gọi base64 là "mã hoá".
• Mã hoá mật khẩu (giải ngược được) thay vì hash.

Scale dọc là nâng cấp một máy (thêm CPU, RAM); đơn giản nhưng có giới hạn phần cứng và vẫn là điểm lỗi đơn lẻ. Scale ngang là thêm nhiều máy chạy song song; gần như không giới hạn nhưng đòi hỏi ứng dụng stateless.

• Muốn scale ngang, session và file upload phải nằm ở nơi dùng chung (Redis, object storage), không nằm trên đĩa hay RAM của từng máy.
• Load balancer phân phối request (round robin, least connections), kiểm tra health để bỏ máy lỗi, có thể kết thúc TLS.
• L4 cân bằng theo kết nối TCP/UDP; L7 hiểu HTTP nên định tuyến được theo path, header.

Người phỏng vấn muốn nghe: database thường là phần khó scale ngang nhất, nên cần thêm cache, read replica, rồi mới đến partition hay sharding.

Precision là trong các ca mô hình báo dương, bao nhiêu ca đúng; recall là trong các ca dương thật, mô hình bắt được bao nhiêu; F1 là trung bình điều hoà của hai chỉ số.

Ví dụ phát hiện gian lận với 1% giao dịch gian lận: mô hình đoán "không gian lận" cho mọi giao dịch đạt accuracy 99% nhưng recall bằng 0.

• Ưu tiên recall khi bỏ sót đắt (bệnh, gian lận); ưu tiên precision khi báo nhầm đắt (chặn nhầm giao dịch).
• Dùng PR-AUC thay vì chỉ ROC-AUC khi lớp dương rất hiếm.
• Chọn ngưỡng quyết định theo chi phí nghiệp vụ, không mặc định 0.5.

Người phỏng vấn muốn nghe: gắn metric với hậu quả kinh doanh.

Attention cho mỗi token "nhìn" tất cả token khác và tính trọng số mức liên quan, nhờ đó nắm được phụ thuộc xa trong câu. Mỗi token tạo ra query, key, value; trọng số là softmax của tích query với key (chia cho căn bậc hai số chiều), rồi lấy tổng có trọng số của value.

Transformer thắng RNN vì:

• Xử lý song song cả chuỗi khi train, tận dụng GPU tốt; RNN phải đi tuần tự.
• Ít gặp vấn đề mất thông tin ở chuỗi dài.
• Mở rộng quy mô tốt, là nền của các LLM hiện nay.

Đánh đổi: chi phí attention tăng theo bình phương độ dài chuỗi, nên ngữ cảnh dài tốn bộ nhớ và tính toán.

RAG (Retrieval-Augmented Generation) tìm các đoạn tài liệu liên quan rồi đưa vào prompt để LLM trả lời dựa trên đó, giúp dùng dữ liệu riêng, cập nhật mà không cần train lại.

Các bước:

1. Nạp và làm sạch tài liệu (PDF, wiki), giữ metadata và quyền truy cập.
2. Chunking theo cấu trúc (tiêu đề, đoạn), có chồng lấp hợp lý.
3. Embedding và lưu vào vector DB.
4. Truy xuất: kết hợp tìm vector và từ khoá (hybrid), rồi rerank.
5. Sinh câu trả lời với prompt yêu cầu bám nguồn và trích dẫn, trả lời "không biết" khi thiếu thông tin.

Hay sai: bỏ qua phân quyền, để người dùng nhận được nội dung từ tài liệu họ không được xem.

Dùng STAR: Situation (bối cảnh), Task (nhiệm vụ), Action (bạn làm gì), Result (kết quả). Phần Action nên chiếm nhiều nhất.

Câu mẫu:

• S: "Lead muốn dùng một thư viện mới cho module báo cáo, em thấy thư viện đó còn ít người dùng và lo về bảo trì."
• T: "Em cần nêu rủi ro mà không làm chậm tiến độ."
• A: "Em gặp riêng anh, đưa so sánh hai phương án và đề xuất làm thử một bản nhỏ trong hai ngày để đánh giá."
• R: "Kết quả thử cho thấy thư viện cũ đáp ứng đủ, anh đồng ý giữ lại. Từ đó team có thói quen làm bản thử trước khi đổi công nghệ."

Người phỏng vấn muốn nghe: bạn tranh luận bằng dữ liệu, tôn trọng người khác, và chấp nhận quyết định cuối cùng kể cả khi không theo ý mình.