Mô hình ngôn ngữ nhỏ (SLM) là mô hình ngôn ngữ có quy mô tham số khiêm tốn, thường dưới khoảng 15 tỷ tham số, đủ nhỏ để chạy nhanh, rẻ và an toàn ngay trên điện thoại, laptop hoặc máy chủ biên, trong khi vẫn xử lý tốt các tác vụ ngôn ngữ hẹp và lặp lại. SLM nên được dùng thay LLM khổng lồ khi tác vụ đã xác định rõ, yêu cầu độ trễ thấp, dữ liệu không được rời khỏi thiết bị, hoặc ngân sách vận hành là ràng buộc chính — và LLM lớn chỉ thực sự cần thiết khi bài toán đòi hỏi suy luận phức tạp, kiến thức chuyên sâu hiếm hoặc khả năng tổng quát trên phạm vi rất rộng. Bài viết này giải thích bản chất của SLM, vì sao mô hình nhỏ ngày càng mạnh, so sánh chi tiết SLM với LLM, điểm mặt các SLM tiêu biểu, và hướng dẫn chọn lựa, triển khai SLM vào thực tế.
Trong vài năm qua, cuộc đua AI chủ yếu được đo bằng một con số: mô hình nào lớn hơn. Từ GPT-3 với 175 tỷ tham số đến các mô hình hàng trăm tỷ, thậm chí hàng nghìn tỷ tham số, logic phổ biến là càng nhiều tham số thì càng thông minh. Logic đó không sai, nhưng nó không phải toàn bộ câu chuyện. Từ năm 2023 trở đi, một xu hướng ngược lại âm thầm lớn lên: mô hình nhỏ. Microsoft Phi, Google Gemma, Meta Llama 3.2, Alibaba Qwen2.5, Mistral 7B — những cái tên này cho thấy một mô hình chỉ vài tỷ tham số, nếu được huấn luyện đúng cách, có thể làm tốt phần lớn công việc mà trước đây người ta mặc định phải dùng mô hình khổng lồ. Đối với doanh nghiệp, đây không phải là chuyện học thuật. Đây là chuyện chi phí: chạy một LLM lớn qua API có thể tốn hàng nghìn USD mỗi tháng cho một ứng dụng có lưu lượng vừa phải, trong khi một SLM chạy trên chính máy chủ của doanh nghiệp có thể rẻ hơn nhiều lần, phản hồi trong tích tắc và không gửi dữ liệu ra ngoài. Hiểu SLM là hiểu một lựa chọn kiến trúc, không phải một phiên bản rút gọn kém cỏi của LLM.
Mô hình ngôn ngữ nhỏ (SLM) là gì?
Mô hình ngôn ngữ nhỏ (Small Language Model — SLM) là mô hình ngôn ngữ có số lượng tham số tương đối nhỏ so với các mô hình ngôn ngữ lớn (LLM), thường được hiểu là dưới khoảng 15 tỷ tham số, được thiết kế để chạy hiệu quả trên phần cứng phổ thông — điện thoại, laptop, máy chủ biên — với chi phí thấp, độ trễ thấp và khả năng hoạt động ngoại tuyến. Không có một ngưỡng chính thức nào được cả ngành công nhận để phân biệt SLM với LLM; ranh giới này dịch chuyển theo thời gian khi phần cứng mạnh lên và khi các mô hình lớn ngày càng lớn. Điều quan trọng không phải con số tuyệt đối, mà là hệ quả thực tế: một SLM có thể chạy được ở nơi mà LLM không thể chạy, hoặc chạy được với chi phí mà LLM không thể đạt.
Tham số là gì và vì sao số tham số quyết định mọi thứ?
Tham số (parameter) là các con số mà mô hình học được trong quá trình huấn luyện — có thể hình dung như các “nút vặn” tinh chỉnh cách mô hình biến đầu vào thành đầu ra. Mỗi tham số lưu trữ một phần tri thức mà mô hình rút ra từ dữ liệu huấn luyện: quan hệ giữa các từ, cấu trúc ngữ pháp, sự thật về thế giới, hay cách suy luận theo từng bước. Một mô hình 1 tỷ tham số có 1 tỷ con số như vậy; một mô hình 100 tỷ tham số có gấp 100 lần. Số tham số quyết định trực tiếp ba thứ: bộ nhớ, tốc độ và chi phí.
Về bộ nhớ, mỗi tham số thường chiếm 2 byte ở định dạng 16-bit (FP16/BF16) hoặc 4 byte ở định dạng 32-bit. Như vậy, một mô hình 7 tỷ tham số cần khoảng 14 GB bộ nhớ chỉ để nạp trọng số ở FP16, chưa tính bộ nhớ đệm cho ngữ cảnh (KV cache) và bộ nhớ vận hành. Một mô hình 70 tỷ tham số cần khoảng 140 GB — vượt xa RAM của một laptop hay điện thoại, buộc phải dùng cụm GPU chuyên dụng trong trung tâm dữ liệu. Đây là lý do đầu tiên khiến quy mô tham số quan trọng: nó quyết định mô hình có thể sống ở đâu.
Về tốc độ, mỗi token sinh ra đều đòi hỏi mô hình “quét” qua toàn bộ tham số của mình. Mô hình càng lớn, mỗi lần suy luận (inference) càng tốn nhiều phép tính, độ trễ càng cao. Một SLM 3 tỷ tham số có thể sinh hàng chục token mỗi giây ngay trên điện thoại, đủ nhanh để người dùng cảm thấy phản hồi tức thì. Một LLM hàng trăm tỷ tham số, dù chạy trên GPU mạnh trong trung tâm dữ liệu, vẫn phải cộng thêm độ trễ mạng và thời gian xếp hàng (queueing) khi nhiều người dùng cùng gọi. Về chi phí, huấn luyện và vận hành mô hình lớn tốn điện năng, phần cứng và tiền thuê hạ tầng theo cấp số nhân. Chi phí này cuối cùng được chuyển thành giá API tính theo triệu token — và đó là khoản chi phí vận hành lặp lại hàng tháng mà doanh nghiệp phải gánh.
Tuy nhiên, cần tránh một hiểu lầm phổ biến: số tham số không phải là thước đo duy nhất của chất lượng. Một mô hình 7 tỷ tham số huấn luyện trên dữ liệu tốt, với kiến trúc tốt, có thể vượt một mô hình 70 tỷ tham số huấn luyện cẩu thả trên dữ liệu rác trong một tác vụ cụ thể. Chất lượng dữ liệu, kiến trúc, phương pháp huấn luyện và cách đánh giá đều quan trọng không kém quy mô. Đây chính là phát hiện làm thay đổi cuộc chơi của SLM trong những năm gần đây.
Các tầng quy mô của SLM và nơi chúng chạy được
SLM không phải là một khối đồng nhất. Trong thực tế, người ta thường chia SLM thành ba tầng theo nơi chúng có thể chạy, và mỗi tầng mở ra một lớp ứng dụng khác nhau.
- Dưới 1 tỷ tham số — chạy trên thiết bị nhúng và IoT. Các mô hình ở tầng này, ví dụ các biến thể nhỏ của Gemma hay Qwen2.5 0,5B, đủ nhẹ để chạy trên vi điều khiển mạnh, thiết bị đeo, cảm biến thông minh hay bộ điều khiển trong nhà máy. Chúng xử lý các tác vụ rất hẹp: phân loại lệnh thoại đơn giản, nhận diện ý định, tóm tắt dữ liệu cảm biến thành một dòng trạng thái. Ưu điểm lớn nhất là tiêu thụ điện cực thấp và phản hồi gần như tức thì, không cần kết nối mạng.
- 1–3 tỷ tham số — chạy trên điện thoại và thiết bị IoT cao cấp. Đây là tầng của Gemini Nano, của Llama 3.2 1B và 3B, của Phi-4-mini. Với lượng tử hóa, các mô hình này chỉ cần khoảng 2–4 GB RAM và chạy được trên chip di động hiện đại. Chúng đủ sức làm trợ lý trên điện thoại, tóm tắt email, soạn tin nhắn, dịch thuật ngoại tuyến, hay điều khiển thiết bị bằng giọng nói mà không cần gửi âm thanh lên đám mây. Đây là tầng có ý nghĩa thương mại lớn nhất hiện nay, vì nó đưa AI vào túi của hàng tỷ người dùng.
- 7–14 tỷ tham số — chạy trên máy chủ biên (edge server) và workstation. Các mô hình như Mistral 7B, Phi-4 14B, Gemma 3 9B hay Qwen2.5 7B–14B thuộc tầng này. Chúng cần một GPU tiêu dùng (ví dụ card 16–24 GB VRAM) hoặc một máy chủ biên nhỏ, nhưng đổi lại chất lượng đầu ra đã tiệm cận LLM tầm trung của một vài năm trước trên nhiều tác vụ. Đây là tầng phù hợp nhất cho doanh nghiệp vừa và nhỏ: chatbot nội bộ, tóm tắt tài liệu, phân loại hồ sơ, hỗ trợ viết — tất cả chạy trong hạ tầng của chính doanh nghiệp, dữ liệu không rời khỏi tường lửa.
Trên các tầng này là LLM hàng trăm tỷ tham số — GPT-4, Claude, Gemini Pro, Llama 3.1 405B — những mô hình chỉ chạy được trong trung tâm dữ liệu với cụm GPU, và người dùng cuối thường chỉ tiếp cận qua API. Ranh giới giữa SLM và LLM vì vậy không chỉ là con số tham số, mà là ranh giới về mô hình triển khai: SLM là mô hình bạn có thể sở hữu và chạy, LLM lớn là mô hình bạn thường chỉ có thể thuê qua API.
SLM khác LLM ở điểm nào về bản chất?
Về bản chất, SLM và LLM dùng cùng một họ kiến trúc — phần lớn là Transformer với cơ chế tự chú ý (self-attention) — và cùng được huấn luyện bằng cách dự đoán từ tiếp theo trên khối lượng văn bản khổng lồ. Sự khác biệt nằm ở dung lượng tri thức mà mô hình có thể “nén” vào tham số của mình. Một LLM 400 tỷ tham số có thể ghi nhớ nhiều sự thật hiếm, nhiều ngôn ngữ ít người dùng, nhiều kiểu suy luận phức tạp hơn một SLM 3 tỷ tham số. Đổi lại, SLM học cách làm tốt một số ít việc hơn, nhưng làm với chi phí thấp hơn nhiều lần. Hình dung LLM như một thư viện bách khoa toàn thư đặt trong trung tâm dữ liệu, còn SLM như một cuốn sổ tay chuyên ngành đặt trong túi áo: cuốn sổ tay không biết mọi thứ, nhưng với đúng việc cần làm, nó trả lời nhanh hơn, rẻ hơn và luôn có sẵn ngay cả khi mất mạng.
Một khác biệt thực tế nữa là cách hai loại mô hình được tinh chỉnh. LLM lớn thường được dùng nguyên trạng qua API với kỹ thuật nhắc (prompt engineering) và truy xuất tăng cường (RAG), vì fine-tuning một mô hình hàng trăm tỷ tham số là việc tốn kém và phức tạp. SLM thì ngược lại: fine-tuning một mô hình 3–7 tỷ tham số trên dữ liệu riêng của doanh nghiệp là việc hoàn toàn khả thi với một GPU duy nhất trong vài giờ. Điều này khiến SLM trở thành lựa chọn tự nhiên cho các bài toán chuyên biệt — phân loại hồ sơ bảo hiểm, tóm tắt biên bản họp, trả lời câu hỏi về sản phẩm — nơi dữ liệu riêng của doanh nghiệp quan trọng hơn kiến thức bách khoa của mô hình lớn.
Vì sao mô hình nhỏ lại mạnh lên nhanh đến vậy?
Mô hình nhỏ mạnh lên nhờ ba yếu tố cộng hưởng: dữ liệu huấn luyện chất lượng cao thay vì chỉ nhiều, kỹ thuật chưng cất tri thức từ mô hình thầy lớn, và kiến trúc cùng kỹ thuật nén hiệu quả hơn. Trong nhiều năm, giới nghiên cứu tin rằng quy mô dữ liệu và quy mô mô hình là hai đòn bẩy chính, và luật mở rộng (scaling laws) của Chinchilla năm 2022 dường như khẳng định điều đó: muốn mô hình tốt hơn thì tăng cả tham số lẫn token huấn luyện theo tỷ lệ cân bằng. Nhưng các nghiên cứu và sản phẩm từ 2023 trở đi cho thấy một đòn bẩy thứ ba bị đánh giá thấp: chất lượng dữ liệu. Một mô hình nhỏ học từ dữ liệu tốt có thể vượt mô hình lớn học từ dữ liệu lộn xộn — và phát hiện này đã mở đường cho cả thế hệ SLM hiện nay.
Bài học Phi-1: dữ liệu “textbook quality” thay đổi cuộc chơi
Năm 2023, nhóm nghiên cứu của Microsoft công bố Phi-1, một mô hình chỉ 1,3 tỷ tham số huấn luyện trên khoảng 6 tỷ token dữ liệu được tuyển chọn kỹ, mà họ gọi là dữ liệu “textbook quality” — dữ liệu có chất lượng như sách giáo khoa: rõ ràng, đúng đắn, có cấu trúc, chủ yếu là mã nguồn chất lượng cao và văn bản giáo dục được tạo ra có chọn lọc. Kết quả gây bất ngờ: Phi-1 đạt hiệu năng lập trình vượt nhiều mô hình lớn hơn nó gấp 10 lần, bao gồm các mô hình hàng chục tỷ tham số huấn luyện trên dữ liệu web thô. Thông điệp rất rõ: với cùng một ngân sách tính toán, đầu tư vào chất lượng dữ liệu mang lại nhiều hơn đầu tư vào quy mô.
Bài học này có ý nghĩa thực tế sâu sắc. Dữ liệu web thô chứa rất nhiều nội dung trùng lặp, sai sự thật, văn bản máy móc và nội dung chất lượng thấp. Một mô hình học từ dữ liệu đó phải tốn dung lượng tham số để “ghi nhớ” cả rác lẫn kiến thức. Ngược lại, dữ liệu được tuyển chọn — sách giáo khoa, tài liệu kỹ thuật, mã nguồn đã qua kiểm tra, văn bản do chuyên gia biên soạn, hay dữ liệu tổng hợp (synthetic data) được tạo ra và kiểm chứng bởi mô hình lớn — cho phép mô hình nhỏ học được đúng những mẫu suy luận hữu ích với ít tham số hơn. Các thế hệ Phi tiếp theo (Phi-2, Phi-3, Phi-4) đều đi theo hướng này: dữ liệu tổng hợp chất lượng cao chiếm tỷ trọng lớn, và kết quả là Phi-4 14B đạt điểm MMLU khoảng 84,8% — mức mà chỉ vài năm trước chỉ các mô hình hàng chục đến hàng trăm tỷ tham số mới đạt được. Lưu ý rằng các con số benchmark như MMLU được đo trong điều kiện cụ thể của từng bài đánh giá, và bài viết này trích dẫn chúng theo các tổng hợp năm 2026 (app-lab.ai, codercops, botmonster) với từ “khoảng”, không coi chúng là chân lý tuyệt đối.
Chưng cất tri thức: mô hình nhỏ học từ mô hình thầy lớn
Chưng cất tri thức (knowledge distillation) là kỹ thuật huấn luyện một mô hình nhỏ (học trò) bắt chước hành vi của một mô hình lớn (thầy). Ý tưởng gốc được Geoffrey Hinton và cộng sự đề xuất năm 2015: thay vì chỉ học từ nhãn đúng/sai cứng nhắc, mô hình học trò học từ toàn bộ phân phối xác suất đầu ra của mô hình thầy — bao gồm cả những “đáp án gần đúng” mà thầy đánh giá cao. Nhờ đó, học trò không chỉ biết đáp án nào đúng, mà còn biết vì sao đáp án đó đúng, và học được cả những sắc thái mà nhãn cứng không thể hiện.
Một bước tiến quan trọng là nghiên cứu “Distilling Step-by-Step” của Hsieh và cộng sự năm 2023: thay vì chỉ chưng cất đáp án cuối cùng, họ chưng cất cả chuỗi lập luận (rationale) mà mô hình thầy tạo ra cho từng ví dụ. Kết quả ấn tượng: một mô hình T5 chỉ 770 triệu tham số, sau khi được chưng cất theo cách này, đã vượt mô hình PaLM 540 tỷ tham số trên một số benchmark — một mô hình nhỏ hơn gần 700 lần mà vẫn thắng ở tác vụ cụ thể. Điều này chứng minh distillation không phải là “bản sao kém chất lượng” của mô hình lớn, mà là một cách chuyển giao tri thức có chọn lọc: thầy truyền cho trò đúng phần tri thức cần cho tác vụ, bỏ qua phần tri thức bách khoa không liên quan.
Trong thực tế năm 2025–2026, distillation đã trở thành quy trình chuẩn để tạo SLM. Quy trình thường gồm ba bước: dùng mô hình thầy lớn (ví dụ một LLM hàng trăm tỷ tham số) để sinh ra dữ liệu huấn luyện chất lượng cao — bao gồm cả đáp án và chuỗi suy luận; lọc dữ liệu đó để loại bỏ đáp án sai và chuỗi lập luận lỗi; rồi huấn luyện mô hình học trò nhỏ trên dữ liệu đã lọc. DeepSeek-R1-Distill là ví dụ điển hình: các mô hình Qwen và Llama nhỏ được chưng cất từ DeepSeek-R1 đã thừa hưởng phần lớn khả năng suy luận của thầy, với kích thước chỉ bằng một phần nhỏ. Tuy nhiên, distillation có giới hạn quan trọng mà nghiên cứu của Apple năm 2025 (Dan Busbridge và cộng sự) đã chỉ ra: distillation chỉ hiệu quả hơn huấn luyện trực tiếp khi đã có sẵn một mô hình thầy tốt, hoặc khi cần tạo ra nhiều mô hình học trò khác nhau từ cùng một thầy — chi phí tạo thầy là khoản đầu tư ban đầu không hề nhỏ, và nếu chỉ cần một mô hình duy nhất cho một tác vụ, huấn luyện trực tiếp trên dữ liệu tốt đôi khi kinh tế hơn. Đây là điểm mà người triển khai cần tính toán, không nên coi distillation là phép màu miễn phí.
Kiến trúc hiệu quả và lượng tử hóa INT4
Yếu tố thứ ba là tiến bộ về kiến trúc và kỹ thuật nén. Các kiến trúc hiện đại như grouped-query attention (GQA) giảm đáng kể bộ nhớ KV cache khi sinh văn bản dài, cho phép mô hình nhỏ xử lý ngữ cảnh dài hơn mà không tốn bộ nhớ gấp nhiều lần. Các kỹ thuật như Mixture-of-Experts (MoE) cho phép mô hình chỉ kích hoạt một phần tham số cho mỗi token, tăng dung lượng hiệu quả mà không tăng chi phí suy luận tương ứng. Song song, lượng tử hóa (quantization) — đặc biệt là INT4 — đã thay đổi hoàn toàn tính kinh tế của SLM: thay vì lưu mỗi tham số bằng 16 bit, lượng tử hóa INT4 chỉ dùng 4 bit, giảm kích thước mô hình xuống còn khoảng một phần tư. Một mô hình 7 tỷ tham số ở FP16 cần khoảng 14 GB, nhưng ở INT4 chỉ còn khoảng 4 GB, đủ chạy trên laptop hay điện thoại cao cấp. Mức giảm chất lượng do lượng tử hóa INT4 gây ra, với các kỹ thuật hiện đại như GPTQ hay AWQ, thường rất nhỏ trên các tác vụ thực tế — một đánh đổi mà hầu hết ứng dụng đều chấp nhận được.
Kết hợp ba yếu tố — dữ liệu tốt hơn, distillation, kiến trúc và nén hiệu quả hơn — kết quả là đường cong hiệu năng theo quy mô đã dịch chuyển. Một SLM 7 tỷ tham số năm 2026 làm được những việc mà năm 2022 cần mô hình 70 tỷ tham số mới làm được. Và vì phần cứng cũng mạnh lên theo thời gian, “nhỏ” của hôm nay mạnh hơn “lớn” của hôm qua. Đó là lý do SLM không còn là lựa chọn tạm bợ, mà là một hướng đi chiến lược.
So sánh SLM với LLM: bảng chi tiết
SLM rẻ hơn LLM lớn khoảng 5–20 lần về chi phí vận hành, phản hồi nhanh hơn nhiều lần, chạy được trên thiết bị và giữ dữ liệu tại chỗ — nhưng thua LLM lớn ở suy luận phức tạp, kiến thức chuyên sâu hiếm và khả năng tổng quát trên tác vụ mới. Bảng dưới đây so sánh hai hướng tiếp cận trên các tiêu chí mà người ra quyết định quan tâm nhất. Các con số chi phí là khoảng tổng hợp từ các phân tích năm 2026 (app-lab.ai, codercops, botmonster) và cần hiểu là mức tương đối, vì chi phí thực tế phụ thuộc vào nhà cung cấp, lưu lượng và cách triển khai cụ thể.
| Tiêu chí | SLM (dưới ~15B tham số) | LLM lớn (hàng trăm tỷ tham số) |
|---|---|---|
| Chi phí suy luận | Thấp; chạy trên phần cứng sẵn có hoặc GPU tiêu dùng, chi phí vận hành rẻ hơn khoảng 5–20 lần so với gọi API LLM lớn ở cùng lưu lượng | Cao; tính theo triệu token qua API, chi phí tăng tuyến tính theo lưu lượng và độ dài ngữ cảnh |
| Tốc độ và độ trễ | Rất nhanh; hàng chục token/giây ngay trên thiết bị, độ trễ thường dưới 100 mili giây cho phản hồi đầu tiên, không phụ thuộc mạng | Chậm hơn; cộng thêm độ trễ mạng, xếp hàng và thời gian xử lý của cụm GPU xa, thường từ vài trăm mili giây đến vài giây |
| Độ chính xác theo tác vụ | Rất tốt trên tác vụ hẹp, lặp lại, đã fine-tuning; ngang hoặc vượt LLM lớn trên tác vụ chuyên biệt | Tốt nhất trên tác vụ rộng, mới, chưa từng gặp; vượt trội ở suy luận nhiều bước và kiến thức hiếm |
| Khả năng chạy trên thiết bị | Chạy được trên điện thoại, laptop, máy chủ biên; hoạt động ngoại tuyến | Không chạy được trên thiết bị; bắt buộc dùng trung tâm dữ liệu hoặc API đám mây |
| Bảo mật dữ liệu | Cao; dữ liệu ở lại trên thiết bị hoặc trong hạ tầng nội bộ, không gửi ra ngoài | Thấp hơn; dữ liệu phải gửi lên máy chủ của nhà cung cấp API, cần đánh giá hợp đồng và tuân thủ |
| Suy luận phức tạp | Hạn chế; suy luận nhiều bước, toán học nâng cao và lập kế hoạch dài hạn thường kém ổn định | Mạnh; suy luận chuỗi dài, giải toán khó, lập luận pháp lý và khoa học phức tạp |
| Kiến thức chuyên sâu hiếm | Hạn chế; ít dung lượng để ghi nhớ sự thật hiếm, ngôn ngữ ít người dùng, chuyên ngành hẹp | Rộng; bao phủ nhiều lĩnh vực, ngôn ngữ và kiến thức chuyên sâu |
| Cửa sổ ngữ cảnh | Đang cải thiện nhanh; nhiều SLM mới đạt 32K–128K token, nhưng xử lý ngữ cảnh rất dài vẫn tốn bộ nhớ | Lớn; các LLM hàng đầu đạt 200K–1M token, phù hợp phân tích tài liệu dài |
| Khả năng fine-tuning | Dễ; fine-tuning một mô hình 3–7B khả thi với một GPU trong vài giờ | Khó và đắt; thường chỉ dùng prompt engineering, RAG hoặc fine-tuning qua dịch vụ của nhà cung cấp |
| Chi phí triển khai ban đầu | Thấp đến trung bình; cần phần cứng sẵn có và kỹ năng vận hành mô hình | Thấp nếu dùng API (không cần hạ tầng), nhưng chi phí vận hành tích lũy cao theo thời gian |
| Khả năng kiểm soát và tùy biến | Cao; toàn quyền kiểm soát phiên bản, dữ liệu huấn luyện, hành vi và thời gian ngừng hoạt động | Thấp; phụ thuộc vào nhà cung cấp, phiên bản mô hình có thể thay đổi mà không báo trước |
| Ảo giác (hallucination) | Có, và có thể cao hơn trên câu hỏi ngoài phạm vi chuyên môn vì kiến thức nền hẹp hơn | Có, nhưng thường ít hơn trên câu hỏi kiến thức chung; vẫn ảo giác trên thông tin hiếm hoặc mới |
| Bài toán phù hợp nhất | Chatbot nội bộ, tóm tắt, phân loại, trích xuất, trợ lý trên thiết bị, IoT, edge AI | Trợ lý tổng quát, nghiên cứu, viết sáng tạo, phân tích phức tạp, tác vụ chưa xác định rõ |
Điểm mấu chốt rút ra từ bảng so sánh: SLM và LLM không phải là hai đối thủ loại trừ nhau, mà là hai công cụ cho hai lớp bài toán khác nhau. Sai lầm phổ biến nhất là dùng LLM lớn cho mọi việc — giống như dùng xe tải chở một túi rau — và sai lầm ngược lại là ép SLM làm việc vượt quá khả năng của nó rồi kết luận mô hình nhỏ vô dụng. Doanh nghiệp khôn ngoan là doanh nghiệp phân loại bài toán trước, rồi chọn công cụ sau. Phần hướng dẫn chọn lựa ở mục 6 sẽ đưa ra cây quyết định cụ thể cho việc này.
Khi nào chênh lệch chi phí thực sự quan trọng?
Chênh lệch chi phí giữa SLM và LLM chỉ thực sự quan trọng khi lưu lượng đủ lớn hoặc khi ứng dụng chạy liên tục. Với một ứng dụng thử nghiệm vài trăm lượt gọi mỗi ngày, chi phí API LLM lớn có thể chỉ vài chục USD mỗi tháng — không đáng để đầu tư hạ tầng SLM. Nhưng với một chatbot chăm sóc khách hàng xử lý hàng chục nghìn cuộc hội thoại mỗi ngày, mỗi cuộc hội thoại vài nghìn token, hóa đơn API có thể lên tới hàng nghìn USD mỗi tháng, và SLM tự vận hành sẽ hoàn vốn trong vài tháng. Một cách tính đơn giản: hãy ước tính tổng số token mỗi tháng, nhân với đơn giá API, rồi so sánh với chi phí khấu hao phần cứng cộng với chi phí vận hành của SLM. Nếu ứng dụng chạy 24/7 với lưu lượng ổn định, SLM gần như luôn rẻ hơn. Nếu lưu lượng thất thường, lúc cao lúc thấp, API LLM lớn với mô hình trả theo lượt dùng có thể linh hoạt hơn. Và nếu ứng dụng cần cả hai — phản hồi nhanh cho tác vụ thường gặp, suy luận sâu cho ca khó — kiến trúc lai ở mục 6 là đáp án kinh tế nhất.
Các mô hình ngôn ngữ nhỏ tiêu biểu năm 2026
Các SLM tiêu biểu năm 2026 gồm Microsoft Phi-4, Google Gemma 3, Meta Llama 3.2, Alibaba Qwen2.5, Apple Intelligence on-device, Mistral 7B và họ DeepSeek-R1-Distill — mỗi mô hình mạnh ở một điểm khác nhau, và lựa chọn đúng phụ thuộc vào tác vụ, giấy phép và phần cứng sẵn có. Bảng dưới đây tóm tắt nhanh, sau đó là phân tích từng mô hình. Các điểm benchmark được trích theo các tổng hợp năm 2026 (app-lab.ai, codercops, botmonster) và cần đọc với lưu ý ở mục 10: chúng là kết quả đo trong điều kiện cụ thể, dùng từ “khoảng”, không phải chân lý tuyệt đối.
| Mô hình | Quy mô | Điểm mạnh nổi bật | Giấy phép | Phù hợp nhất cho |
|---|---|---|---|---|
| Microsoft Phi-4 | 14B | MMLU khoảng 84,8%; mạnh toán và suy luận nhờ dữ liệu tổng hợp chất lượng cao | MIT | Suy luận, toán, chatbot chuyên môn trên máy chủ biên |
| Microsoft Phi-4-mini | 3,8B | MMLU khoảng 67,3%; GSM8K khoảng 88,6%; nhỏ gọn, chạy tốt trên thiết bị | MIT | Trợ lý trên điện thoại, laptop, tác vụ toán và ngôn ngữ nhẹ |
| Google Gemma 3 | 1B / 4B / 9B / 27B | Đa phương thức (văn bản, hình ảnh); ngữ cảnh 128K token; hỗ trợ hơn 140 ngôn ngữ | Gemma (mở) | Ứng dụng đa phương thức, đa ngôn ngữ, chạy trên thiết bị đến máy chủ |
| Meta Llama 3.2 | 1B / 3B | Tối ưu cho thiết bị di động; hợp tác Qualcomm và MediaTek; bản 3B lượng tử hóa dưới 2 GB RAM | Llama Community | AI trên điện thoại, ứng dụng di động, IoT |
| Alibaba Qwen2.5 | 0,5B–72B | Mạnh về lập trình và đa ngôn ngữ, gồm tiếng Việt; nhiều cỡ để chọn | Apache 2.0 | Lập trình, ứng dụng đa ngôn ngữ, doanh nghiệp cần giấy phép thương mại thoáng |
| Apple Intelligence on-device | Khoảng 3B | Chạy hoàn toàn trên thiết bị Apple; riêng tư theo thiết kế | Độc quyền Apple | Tóm tắt, viết lại, trợ lý trong hệ sinh thái Apple |
| Mistral 7B | 7B | Hiệu năng cao so với kích thước; kiến trúc sliding-window attention tiết kiệm bộ nhớ | Apache 2.0 | Chatbot, RAG, triển khai tự chủ trên một GPU |
| DeepSeek-R1-Distill | 1,5B–70B (họ chưng cất) | Thừa hưởng khả năng suy luận của DeepSeek-R1; mạnh toán và lập trình | MIT (tùy biến thể) | Suy luận, giải toán, lập trình với ngân sách phần cứng vừa phải |
Microsoft Phi-4 và Phi-4-mini: dữ liệu tốt thắng quy mô lớn
Phi-4 là minh chứng rõ nhất cho triết lý “dữ liệu chất lượng cao” của Microsoft. Với 14 tỷ tham số, Phi-4 đạt MMLU khoảng 84,8% theo các tổng hợp năm 2026 — mức điểm mà trước đây chỉ các mô hình lớn hơn nhiều lần mới chạm tới. Sức mạnh của Phi-4 nằm ở toán học và suy luận: mô hình được huấn luyện trên lượng lớn dữ liệu tổng hợp chất lượng cao, bao gồm các bài toán được tạo ra và kiểm chứng cẩn thận, cùng với dữ liệu web đã qua tuyển chọn nghiêm ngặt. Giấy phép MIT là một lợi thế lớn cho doanh nghiệp: được dùng thương mại tự do, không ràng buộc phức tạp như một số giấy phép mô hình mở khác. Phi-4 phù hợp cho chatbot chuyên môn, hỗ trợ suy luận và các ứng dụng trên máy chủ biên có GPU vừa phải.
Phi-4-mini, với 3,8 tỷ tham số, là phiên bản thu nhỏ nhưng vẫn giữ được nhiều điểm mạnh của đàn anh: MMLU khoảng 67,3% và GSM8K (benchmark toán tiểu học) khoảng 88,6% theo các tổng hợp năm 2026. Con số GSM8K đặc biệt đáng chú ý: một mô hình chưa tới 4 tỷ tham số giải toán tiểu học tốt ngang các mô hình lớn hơn nhiều lần, cho thấy dữ liệu tổng hợp và distillation đã nén được khả năng suy luận vào một thân hình nhỏ gọn. Phi-4-mini chạy tốt trên laptop và thiết bị biên, là lựa chọn hợp lý khi cần suy luận tốt mà phần cứng có hạn.
Google Gemma 3: đa phương thức và đa ngôn ngữ
Gemma 3 là họ mô hình mở của Google, với bốn cỡ 1B, 4B, 9B và 27B. Điểm khác biệt lớn nhất của Gemma 3 là khả năng đa phương thức ngay từ thiết kế: các phiên bản từ 4B trở lên xử lý được cả văn bản và hình ảnh trong cùng một mô hình, cho phép ứng dụng như mô tả ảnh, trả lời câu hỏi về hình ảnh hay phân tích tài liệu có hình minh họa — những việc trước đây cần kết hợp nhiều mô hình riêng. Cửa sổ ngữ cảnh 128K token cho phép Gemma 3 đọc tài liệu dài, và hỗ trợ hơn 140 ngôn ngữ giúp nó phù hợp với ứng dụng đa quốc gia. Phiên bản 1B chạy được trên thiết bị di động, trong khi bản 27B cần GPU mạnh hơn nhưng vẫn nằm trong tầm của một workstation cao cấp. Với doanh nghiệp Việt Nam, Gemma 3 đáng cân nhắc khi ứng dụng cần xử lý cả hình ảnh lẫn văn bản, hoặc khi khách hàng dùng nhiều ngôn ngữ.
Meta Llama 3.2: SLM được sinh ra cho điện thoại
Llama 3.2 đánh dấu bước chuyển của Meta từ mô hình lớn sang mô hình nhỏ cho thiết bị. Hai phiên bản 1B và 3B được tối ưu riêng cho thiết bị di động, với sự hợp tác kỹ thuật cùng Qualcomm và MediaTek để chạy hiệu quả trên chip Snapdragon và Dimensity. Sau lượng tử hóa, bản 3B chỉ cần dưới 2 GB RAM — con số đủ nhỏ để chạy mượt trên điện thoại tầm trung mà không làm nóng máy hay hao pin quá mức. Llama 3.2 phù hợp cho các ứng dụng di động cần AI ngoại tuyến: trợ lý cá nhân, tóm tắt tin nhắn, dịch thuật, hay điều khiển ứng dụng bằng giọng nói. Giấy phép Llama Community cho phép dùng thương mại với một số điều kiện — doanh nghiệp có lượng người dùng rất lớn cần đọc kỹ điều khoản, nhưng với đa số doanh nghiệp vừa và nhỏ, giấy phép này là đủ thoáng.
Alibaba Qwen2.5: mạnh về code và đa ngôn ngữ
Qwen2.5 là họ mô hình của Alibaba với dải quy mô rất rộng, từ 0,5B đến 72B, cho phép doanh nghiệp chọn đúng cỡ cho đúng bài toán thay vì phải chấp nhận một kích thước duy nhất. Điểm mạnh nổi bật của Qwen2.5 là lập trình và đa ngôn ngữ: mô hình được huấn luyện trên lượng lớn mã nguồn và văn bản đa ngôn ngữ, trong đó có tiếng Việt ở mức khá so với các mô hình mở cùng cỡ. Giấy phép Apache 2.0 là giấy phép thương mại thoáng nhất trong số các mô hình mở, giúp doanh nghiệp yên tâm dùng trong sản phẩm mà không lo ràng buộc giấy phép phức tạp. Với đội ngũ phát triển phần mềm, Qwen2.5-Coder là một trong những lựa chọn SLM tốt nhất cho gợi ý code, giải thích code và viết test tự động chạy ngay trên máy của lập trình viên.
Apple Intelligence on-device: riêng tư là tính năng, không phải khẩu hiệu
Apple Intelligence chạy một mô hình ngôn ngữ khoảng 3 tỷ tham số ngay trên thiết bị iPhone, iPad và Mac, xử lý các tác vụ như tóm tắt email, viết lại văn bản, tạo phản hồi thông minh và tóm tắt thông báo — tất cả mà không gửi dữ liệu lên máy chủ. Chỉ khi tác vụ vượt quá khả năng của mô hình trên thiết bị, hệ thống mới chuyển sang mô hình lớn hơn trên máy chủ đám mây riêng của Apple (Private Cloud Compute), với cam kết dữ liệu không được lưu trữ hay dùng để huấn luyện. Cách tiếp cận này cho thấy một triết lý sản phẩm quan trọng: với các tác vụ hàng ngày, riêng tư và tốc độ quan trọng hơn khả năng bách khoa. Doanh nghiệp làm ứng dụng trong hệ sinh thái Apple nên hiểu rõ ranh giới này để thiết kế trải nghiệm phù hợp: việc gì làm trên thiết bị, việc gì cần chuyển lên đám mây.
Mistral 7B và DeepSeek-R1-Distill: hai con đường khác nhau đến cùng một đích
Mistral 7B, ra mắt cuối năm 2023, là mô hình chứng minh rằng 7 tỷ tham số có thể vượt các mô hình 13 tỷ tham số cùng thời nhờ kiến trúc sliding-window attention tiết kiệm bộ nhớ và dữ liệu huấn luyện tốt. Với giấy phép Apache 2.0 và khả năng chạy mượt trên một GPU tiêu dùng duy nhất, Mistral 7B trở thành lựa chọn mặc định cho rất nhiều dự án RAG và chatbot tự triển khai. DeepSeek-R1-Distill đi theo con đường khác: thay vì huấn luyện từ đầu, họ mô hình này lấy các mô hình nền Qwen và Llama nhỏ, rồi chưng cất khả năng suy luận chuỗi dài (chain-of-thought) từ DeepSeek-R1 — một mô hình suy luận lớn. Kết quả là các mô hình chưng cất 7B–32B có khả năng giải toán và lập trình vượt xa các mô hình cùng cỡ huấn luyện thông thường. Bài học ở đây là có nhiều cách để tạo ra SLM mạnh: huấn luyện tốt từ đầu, hoặc chưng cất từ thầy giỏi — và lựa chọn nào tốt hơn phụ thuộc vào tài nguyên sẵn có.
Ứng dụng thực tế của SLM: mô hình nhỏ đang làm việc ở đâu?
SLM đang làm việc ở khắp nơi mà LLM lớn không thể tới: trong túi người dùng, trên dây chuyền nhà máy, trong xe hơi, trong phòng khám và trong máy chủ của doanh nghiệp vừa và nhỏ. Điểm chung của các ứng dụng này là tác vụ đã xác định rõ, dữ liệu nhạy cảm hoặc cần phản hồi tức thì, và chi phí vận hành là yếu tố quyết định. Dưới đây là các nhóm ứng dụng quan trọng nhất, với ví dụ cụ thể để người đọc hình dung được SLM làm gì trong đời thực.
Chạy trên điện thoại và laptop: AI không cần mạng
Ứng dụng rõ ràng nhất của SLM là AI trên thiết bị (on-device AI). Apple Intelligence tóm tắt email, viết lại tin nhắn và sắp xếp thông báo ngay trên iPhone bằng mô hình khoảng 3 tỷ tham số. Gemini Nano trên điện thoại Pixel làm việc tương tự: tóm tắt ghi âm cuộc gọi, gợi ý trả lời tin nhắn, dịch thuật ngoại tuyến. Trên laptop, các trợ lý viết như Microsoft Copilot dùng SLM cho các tác vụ nhẹ — hoàn thành câu, tóm tắt tài liệu, gợi ý định dạng — và chỉ gọi mô hình lớn hơn khi người dùng yêu cầu việc phức tạp. Lợi ích cho người dùng là ba thứ: phản hồi tức thì vì không chờ mạng, hoạt động được khi mất kết nối, và dữ liệu cá nhân không rời khỏi thiết bị. Với doanh nghiệp, đây là mô hình phân phối AI rẻ nhất: tận dụng phần cứng mà khách hàng đã sở hữu, thay vì trả tiền thuê GPU trên đám mây cho mỗi lượt dùng.
Edge AI: AI ở nơi dữ liệu được sinh ra
Edge AI là việc chạy AI trên thiết bị hoặc máy chủ đặt gần nơi dữ liệu được sinh ra, thay vì gửi dữ liệu về trung tâm dữ liệu xa. SLM là công nghệ nòng cốt của edge AI. Trong nhà máy, một SLM chạy trên máy chủ biên có thể đọc biên bản kiểm tra chất lượng, phân loại lỗi sản phẩm từ mô tả của công nhân và cảnh báo ngay khi phát hiện mẫu bất thường — mà không cần đường truyền internet ổn định. Trong bán lẻ, camera kết hợp SLM có thể tóm tắt hành vi khách hàng trong cửa hàng thành báo cáo văn bản, thay vì gửi toàn bộ video lên đám mây. Trong nông nghiệp, thiết bị cảm biến kết hợp SLM nhỏ có thể diễn giải dữ liệu đất và thời tiết thành khuyến nghị tưới tiêu bằng ngôn ngữ tự nhiên cho nông dân. Điểm chung: nơi nào mạng yếu, dữ liệu lớn hoặc độ trễ là vấn đề sống còn, nơi đó SLM trên biên thắng LLM trên đám mây.
Doanh nghiệp vừa và nhỏ: chatbot nội bộ, tóm tắt tài liệu, phân loại
Với doanh nghiệp vừa và nhỏ tại Việt Nam, SLM mở ra khả năng mà trước đây chỉ doanh nghiệp lớn mới có: sở hữu một trợ lý AI chạy trong chính hạ tầng của mình. Ba ứng dụng mang lại giá trị nhanh nhất là chatbot nội bộ, tóm tắt tài liệu và phân loại. Chatbot nội bộ trả lời câu hỏi của nhân viên về quy trình, chính sách và sản phẩm, dựa trên tài liệu nội bộ qua RAG — một SLM 7B fine-tuning trên dữ liệu công ty thường trả lời chính xác hơn LLM lớn dùng chung, vì nó hiểu đúng thuật ngữ và quy trình riêng của công ty. Tóm tắt tài liệu giúp nhân viên đọc nhanh hợp đồng, biên bản họp hay báo cáo dài hàng chục trang trong vài phút. Phân loại tự động — phân loại email khách hàng, phân loại hồ sơ, gắn thẻ tài liệu — là tác vụ mà SLM làm gần như hoàn hảo với chi phí thấp, vì đây là tác vụ hẹp, lặp lại và có nhãn rõ ràng. Một công ty 50 nhân sự có thể triển khai cả ba ứng dụng này trên một máy chủ duy nhất với chi phí phần cứng một lần, thay vì trả tiền API hàng tháng không có điểm dừng.
IoT, xe hơi và y tế tại chỗ: khi dữ liệu không được rời khỏi thiết bị
Trong IoT, SLM cho phép thiết bị “hiểu” thay vì chỉ “ghi”. Một thiết bị đeo y tế có thể dùng SLM nhỏ để diễn giải dữ liệu nhịp tim và giấc ngủ thành cảnh báo bằng ngôn ngữ tự nhiên cho người dùng, thay vì chỉ hiển thị con số. Trong xe hơi, trợ lý giọng nói chạy bằng SLM trên xe có thể điều khiển điều hòa, dẫn đường và trả lời câu hỏi của tài xế mà không cần sóng di động — điều quan trọng khi xe chạy qua vùng không có phủ sóng. Trong y tế tại chỗ, SLM chạy trên máy tính của phòng khám có thể tóm tắt hồ sơ bệnh án, soạn thảo ghi chú khám và gợi ý câu hỏi sàng lọc, trong khi dữ liệu bệnh nhân không bao giờ rời khỏi phòng khám — một yêu cầu tuân thủ mà việc gửi dữ liệu lên API đám mây khó đáp ứng được. Đây là nhóm ứng dụng mà SLM không chỉ rẻ hơn, mà là lựa chọn duy nhất khả thi về mặt pháp lý và kỹ thuật.
Nên chọn SLM hay LLM? Cây quyết định và checklist
Chọn SLM khi tác vụ hẹp, lặp lại, cần riêng tư hoặc độ trễ thấp; chọn LLM lớn khi tác vụ rộng, mới, cần suy luận sâu hoặc kiến thức hiếm; và dùng kiến trúc lai khi ứng dụng có cả hai loại tác vụ. Quy tắc này nghe đơn giản, nhưng áp dụng vào bài toán cụ thể cần một quy trình có hệ thống. Cây quyết định dưới đây giúp người đọc đi từ bài toán đến lựa chọn trong vài phút.
Cây quyết định chọn SLM hay LLM
- Tác vụ có hẹp và xác định rõ không? Nếu tác vụ là phân loại, trích xuất, tóm tắt, trả lời câu hỏi theo tài liệu cố định hay chatbot với kịch bản rõ ràng — đi tiếp sang bước 2 với SLM là ứng cử viên chính. Nếu tác vụ mở, không xác định trước (viết sáng tạo, nghiên cứu, tư vấn chiến lược) — LLM lớn là lựa chọn an toàn hơn.
- Dữ liệu có được phép rời khỏi tổ chức không? Nếu dữ liệu là dữ liệu cá nhân nhạy cảm, bí mật kinh doanh, hồ sơ y tế hay dữ liệu chịu quy định pháp lý chặt — SLM chạy nội bộ là lựa chọn mặc định. Nếu dữ liệu là công khai hoặc đã được ẩn danh hóa — LLM qua API vẫn khả thi.
- Độ trễ yêu cầu là bao nhiêu? Nếu ứng dụng cần phản hồi dưới 200 mili giây, hoạt động ngoại tuyến, hoặc chạy trên thiết bị di động — SLM. Nếu người dùng chấp nhận chờ vài giây — LLM lớn vẫn đáp ứng được.
- Lưu lượng dự kiến là bao nhiêu? Nếu lưu lượng lớn và ổn định (hàng chục nghìn lượt gọi mỗi ngày trở lên), hãy tính chi phí API theo tháng và so với chi phí khấu hao phần cứng SLM — thường SLM thắng. Nếu lưu lượng thấp và thất thường — API LLM lớn linh hoạt hơn.
- Có GPU hoặc phần cứng phù hợp không? Nếu đã có sẵn GPU, máy chủ biên hay đội ngũ vận hành mô hình — SLM khả thi ngay. Nếu chưa có gì và cần chạy ngay trong tuần này — bắt đầu bằng API LLM lớn, rồi cân nhắc SLM ở giai đoạn sau.
- Tác vụ có cần suy luận nhiều bước phức tạp không? Nếu cần giải toán khó, lập luận pháp lý phức tạp, lập kế hoạch dài hạn hay kiến thức chuyên sâu hiếm — LLM lớn. Nếu không, hoặc nếu có thể chia nhỏ bài toán phức tạp thành các bước đơn giản cho SLM — SLM là đủ.
Nếu cây quyết định dẫn đến SLM ở hầu hết các bước, hãy chọn SLM. Nếu dẫn đến LLM lớn ở hai bước trở lên — đặc biệt là bước về suy luận phức tạp và bước về tác vụ mở — hãy chọn LLM lớn. Nếu kết quả lẫn lộn, kiến trúc lai dưới đây là đáp án.
Kiến trúc lai: SLM mặc định, LLM dự phòng
Kiến trúc lai (hybrid) là cách triển khai thực tế nhất cho nhiều ứng dụng: SLM xử lý mặc định mọi yêu cầu, và chỉ những yêu cầu mà SLM không tự tin hoặc xác định là phức tạp mới được chuyển lên LLM lớn. Cách làm này kết hợp ưu điểm của cả hai: chi phí thấp và độ trễ thấp cho 80–90% lưu lượng thông thường, chất lượng cao cho 10–20% ca khó. Để triển khai, cần ba thành phần: một bộ định tuyến (router) phân loại yêu cầu theo độ phức tạp — có thể là một mô hình phân loại nhỏ hoặc một bộ quy tắc dựa trên độ dài, từ khóa và loại tác vụ; một ngưỡng tin cậy (confidence threshold) của SLM, dưới ngưỡng này thì chuyển lên LLM lớn; và một cơ chế ghi log để theo dõi tỷ lệ chuyển lên, từ đó điều chỉnh ngưỡng và cải thiện SLM theo thời gian. Ví dụ, một chatbot chăm sóc khách hàng có thể để SLM trả lời các câu hỏi thường gặp về giá, chính sách và trạng thái đơn hàng, còn câu hỏi khiếu nại phức tạp, yêu cầu bồi thường hay tư vấn chuyên sâu sẽ được chuyển lên LLM lớn hoặc chuyển cho nhân viên. Theo thời gian, khi SLM được fine-tuning thêm trên các ca đã chuyển lên, tỷ lệ chuyển lên sẽ giảm dần và chi phí vận hành cũng giảm theo.
Checklist trước khi quyết định
- Đã mô tả tác vụ bằng một câu cụ thể: đầu vào là gì, đầu ra mong muốn là gì, tiêu chí đúng/sai ra sao.
- Đã xác định dữ liệu có được phép rời khỏi tổ chức hay không, và yêu cầu tuân thủ áp dụng là gì.
- Đã ước tính lưu lượng tháng và chi phí API LLM lớn tương ứng, so với chi phí phần cứng SLM.
- Đã xác định yêu cầu độ trễ và khả năng hoạt động ngoại tuyến.
- Đã có bộ dữ liệu kiểm thử (ít nhất 50–100 ví dụ thực tế) để đo chất lượng của cả SLM và LLM lớn trên cùng bài toán.
- Đã xác định ai chịu trách nhiệm vận hành mô hình, cập nhật và giám sát chất lượng sau triển khai.
- Đã có phương án dự phòng khi mô hình trả lời sai: chuyển lên LLM lớn, chuyển cho con người, hay từ chối trả lời.
- Đã thử nghiệm kiến trúc lai trước khi cam kết toàn bộ vào một hướng duy nhất.
Cách triển khai SLM: từ lượng tử hóa đến RAG và fine-tuning
Triển khai SLM gồm bốn bước: chọn mô hình và lượng tử hóa cho vừa phần cứng, chọn công cụ chạy suy luận, kết nối tri thức qua RAG hoặc fine-tuning, rồi vận hành và giám sát. Phần này hướng dẫn từng bước ở mức đủ để một kỹ sư hoặc một doanh nghiệp có đội kỹ thuật nhỏ bắt đầu được ngay, không đi sâu vào từng dòng lệnh mà tập trung vào quyết định đúng ở mỗi bước.
Lượng tử hóa: làm mô hình nhỏ lại mà không mất nhiều chất lượng
Lượng tử hóa (quantization) là kỹ thuật giảm số bit dùng để lưu mỗi tham số, từ 16 bit xuống 8 bit hoặc 4 bit. Ở mức INT4, mô hình chỉ còn khoảng một phần tư kích thước gốc: mô hình 7B từ khoảng 14 GB xuống còn khoảng 4 GB, mô hình 3B từ khoảng 6 GB xuống còn khoảng 2 GB. Các kỹ thuật lượng tử hóa hiện đại như GPTQ và AWQ giữ lại chất lượng rất tốt bằng cách bảo vệ những tham số quan trọng nhất khỏi sai số làm tròn, và trên các tác vụ thực tế, mức giảm chất lượng thường khó nhận thấy. Lời khuyên thực tế: bắt đầu với bản lượng tử hóa INT4 (định dạng GGUF) cho thử nghiệm trên laptop và điện thoại, và chỉ dùng bản FP16 khi ứng dụng đòi hỏi độ chính xác tối đa và phần cứng cho phép. Hầu hết các mô hình mở phổ biến đều có sẵn bản lượng tử hóa do cộng đồng chia sẻ, nên doanh nghiệp thường không cần tự lượng tử hóa từ đầu.
llama.cpp, Ollama và vLLM: chọn công cụ nào?
Ba công cụ phổ biến nhất để chạy SLM là llama.cpp, Ollama và vLLM, mỗi công cụ phục vụ một nhu cầu khác nhau. llama.cpp là thư viện suy luận viết bằng C/C++, chạy được trên CPU, GPU và cả thiết bị di động, nổi tiếng với khả năng chạy mô hình lớn trên phần cứng khiêm tốn. Đây là lựa chọn tốt khi cần nhúng mô hình vào ứng dụng hoặc chạy trên thiết bị biên. Ollama là công cụ đóng gói llama.cpp thành một trải nghiệm đơn giản: một dòng lệnh để tải mô hình, một dòng lệnh để chạy, và một API chuẩn để ứng dụng gọi. Ollama là lựa chọn tốt nhất cho thử nghiệm nhanh, demo và triển khai nhỏ trong doanh nghiệp — kỹ sư có thể chạy được chatbot nội bộ trong một buổi chiều. vLLM là công cụ suy luận hiệu năng cao cho máy chủ, tối ưu cho việc phục vụ nhiều người dùng cùng lúc với thông lượng lớn nhờ kỹ thuật PagedAttention và batching liên tục. Khi ứng dụng đã có lưu lượng thật và cần phục vụ hàng chục đến hàng trăm yêu cầu đồng thời, vLLM là lựa chọn đúng. Quy trình thực tế thường là: thử nghiệm bằng Ollama, kiểm chứng bằng llama.cpp nếu cần chạy trên thiết bị, và vận hành sản xuất bằng vLLM khi lưu lượng tăng lên.
Fine-tuning và RAG với SLM: hai cách dạy mô hình biết việc của bạn
Có hai cách chính để dạy SLM làm việc riêng của doanh nghiệp: fine-tuning và RAG (Retrieval-Augmented Generation), và chúng bổ sung cho nhau chứ không loại trừ nhau. Fine-tuning là huấn luyện thêm mô hình trên dữ liệu riêng — ví dụ 500–5.000 cặp câu hỏi và câu trả lời về sản phẩm của công ty — để mô hình học được phong cách trả lời, thuật ngữ và quy trình riêng. Với SLM 3–7B, fine-tuning bằng kỹ thuật LoRA (chỉ huấn luyện một phần nhỏ tham số) khả thi trên một GPU tiêu dùng trong vài giờ, với chi phí rất thấp so với fine-tuning LLM lớn. RAG thì khác: thay vì dạy mô hình ghi nhớ kiến thức, RAG cho phép mô hình tra cứu tài liệu liên quan trong thời gian thực rồi trả lời dựa trên tài liệu đó. RAG phù hợp khi kiến thức thay đổi thường xuyên (bảng giá, chính sách mới, tài liệu cập nhật) hoặc khi cần trích dẫn nguồn rõ ràng. Lời khuyên thực tế: bắt đầu bằng RAG vì triển khai nhanh và dễ cập nhật kiến thức; thêm fine-tuning khi cần mô hình nói đúng giọng điệu, định dạng và quy trình riêng của doanh nghiệp; kết hợp cả hai khi ứng dụng đã ổn định và cần chất lượng cao nhất.
Yêu cầu phần cứng theo từng cỡ mô hình
| Cỡ mô hình | RAM/VRAM cần thiết (INT4) | Phần cứng gợi ý | Ví dụ mô hình |
|---|---|---|---|
| Dưới 1B | Khoảng 1 GB | Điện thoại, thiết bị nhúng, vi điều khiển mạnh | Qwen2.5 0,5B, Gemma 3 1B |
| 1–3B | Khoảng 2–4 GB | Điện thoại cao cấp, laptop, Raspberry Pi 5 trở lên | Llama 3.2 1B/3B, Phi-4-mini, Gemma 3 4B |
| 7–9B | Khoảng 5–8 GB | Laptop có GPU rời, workstation, máy chủ biên một GPU 16 GB | Mistral 7B, Gemma 3 9B, Qwen2.5 7B |
| 13–14B | Khoảng 9–12 GB | Workstation GPU 24 GB, máy chủ biên một GPU mạnh | Phi-4 14B, Qwen2.5 14B |
| 27–32B | Khoảng 18–24 GB | Máy chủ một đến hai GPU cao cấp, workstation chuyên dụng | Gemma 3 27B, Qwen2.5 32B, DeepSeek-R1-Distill 32B |
Bảng trên tính theo lượng tử hóa INT4 và chỉ tính bộ nhớ trọng số; thực tế cần cộng thêm bộ nhớ cho KV cache (tăng theo độ dài ngữ cảnh và số người dùng đồng thời) và bộ nhớ hệ thống. Khi chọn phần cứng, hãy tính dư khoảng 30–50% so với con số tối thiểu để ứng dụng chạy ổn định khi ngữ cảnh dài lên hoặc lưu lượng tăng lên. Và hãy nhớ rằng yêu cầu phần cứng giảm dần theo thời gian: mô hình cần GPU 24 GB hôm nay có thể chạy trên laptop phổ thông sau hai năm nữa nhờ lượng tử hóa tốt hơn và chip mạnh hơn.
Giới hạn của SLM: khi nào bắt buộc phải dùng LLM lớn?
SLM có bốn giới hạn chính: suy luận nhiều bước phức tạp, kiến thức chuyên sâu hiếm, ảo giác trên câu hỏi ngoài phạm vi, và cửa sổ ngữ cảnh — và khi bài toán chạm vào một trong bốn giới hạn này ở mức nghiêm trọng, LLM lớn là lựa chọn bắt buộc. Hiểu rõ giới hạn quan trọng không kém hiểu rõ ưu điểm, vì triển khai SLM sai chỗ gây thiệt hại nhiều hơn là không triển khai.
Suy luận nhiều bước phức tạp
Suy luận nhiều bước là khả năng giải quyết bài toán bằng cách chia nhỏ thành chuỗi lập luận dài, mỗi bước dựa trên kết quả bước trước. LLM lớn làm việc này tốt nhờ dung lượng tham số lớn cho phép “suy nghĩ” qua nhiều bước trung gian mà không mất mạch. SLM, với dung lượng nhỏ hơn, thường suy luận tốt ở 2–3 bước, nhưng càng nhiều bước thì xác suất sai ở một bước càng tăng, và sai lầm ở bước đầu sẽ lan sang toàn bộ chuỗi. Ví dụ, giải một bài toán kinh doanh cần kết hợp nhiều giả thiết, tính toán và đánh đổi — SLM có thể đưa ra đáp án nghe hợp lý nhưng sai ở bước trung gian mà người dùng khó phát hiện. Giải pháp thực tế là chia bài toán phức tạp thành các bước nhỏ, mỗi bước là một tác vụ hẹp mà SLM làm tốt, và để con người hoặc LLM lớn kiểm tra bước tổng hợp cuối cùng. Nếu bài toán không thể chia nhỏ được, hãy dùng LLM lớn ngay từ đầu.
Kiến thức chuyên sâu hiếm và ảo giác
SLM ghi nhớ ít sự thật hiếm hơn LLM lớn, vì đơn giản là chúng có ít “chỗ” để lưu trữ hơn. Khi được hỏi về một chủ đề hiếm — một điều luật ít người biết, một loài sinh vật ít được nghiên cứu, một sự kiện lịch sử ít tài liệu — SLM có xu hướng bịa ra đáp án nghe có vẻ hợp lý thay vì thừa nhận không biết. Đây là hiện tượng ảo giác (hallucination), và nó nguy hiểm hơn ở SLM vì người dùng thường không ngờ một câu trả lời trôi chảy lại có thể sai hoàn toàn. Cách giảm thiểu là kết hợp SLM với RAG để mô hình trả lời dựa trên tài liệu thật thay vì dựa trên trí nhớ, và thiết kế hệ thống để mô hình nói “tôi không biết” khi không tìm thấy tài liệu liên quan. Với các ứng dụng mà một câu trả lời sai có hậu quả nghiêm trọng — tư vấn y tế, pháp lý, tài chính — cần có con người kiểm tra hoặc dùng LLM lớn có kiến thức nền rộng hơn, và trong mọi trường hợp không nên để mô hình tự động ra quyết định cuối cùng.
Cửa sổ ngữ cảnh và tác vụ dài
Cửa sổ ngữ cảnh của SLM đã cải thiện nhanh — nhiều mô hình mới đạt 32K–128K token — nhưng xử lý ngữ cảnh rất dài vẫn là điểm yếu. Khi ngữ cảnh dài, bộ nhớ KV cache tăng lên, tốc độ giảm xuống, và chất lượng trả lời ở phần giữa của ngữ cảnh dài (hiện tượng “lost in the middle”) thường kém hơn LLM lớn. Với tác vụ phân tích tài liệu dài hàng trăm trang, tóm tắt báo cáo tổng hợp hay rà soát hợp đồng phức tạp, LLM lớn với cửa sổ ngữ cảnh lớn và khả năng giữ mạch tốt hơn vẫn là lựa chọn an toàn. Giải pháp trung gian là chia tài liệu dài thành các đoạn nhỏ, để SLM xử lý từng đoạn rồi tổng hợp lại — cách này hiệu quả với tóm tắt, nhưng kém hiệu quả với các tác vụ cần hiểu toàn cục của tài liệu.
Tóm lại, hãy dùng LLM lớn khi bài toán đòi hỏi suy luận sâu, kiến thức hiếm, tài liệu rất dài, hoặc khi hậu quả của một câu trả lời sai là nghiêm trọng và không có người kiểm tra. Trong các trường hợp còn lại — và đó là phần lớn công việc hàng ngày — SLM là đủ, và rẻ hơn nhiều.
Xu hướng SLM năm 2026: mô hình nhỏ đi vào mọi nơi
Ba xu hướng lớn của SLM năm 2026 là đa phương thức, SLM cho AI agent, và distillation trở thành quy trình chuẩn — cùng với sự xuất hiện của các mô hình như Gemma 4 cho thấy mô hình nhỏ đang tiệm cận khả năng của mô hình lớn trên nhiều benchmark.
SLM đa phương thức: nhìn, nghe và đọc trong một mô hình
SLM đang nhanh chóng vượt ra khỏi văn bản thuần túy. Gemma 3 đã xử lý được hình ảnh cùng với văn bản; các mô hình mới hơn đang thêm khả năng xử lý âm thanh và video ở quy mô nhỏ. Điều này có nghĩa một SLM 4B trên điện thoại có thể vừa nghe giọng nói, vừa nhìn ảnh chụp, vừa đọc văn bản — và trả lời bằng ngôn ngữ tự nhiên. Ứng dụng thực tế rất rộng: trợ lý trên điện thoại mô tả ảnh cho người khiếm thị, ứng dụng kiểm tra chất lượng sản phẩm bằng cách chụp ảnh và hỏi mô hình, hay trợ lý trong xe hơi vừa nghe lệnh thoại vừa đọc biển báo. Đa phương thức ở quy mô nhỏ là bước tiến quan trọng vì trước đây, xử lý đa phương thức gần như đồng nghĩa với mô hình lớn và đắt đỏ.
SLM cho AI agent: mô hình nhỏ làm tác nhân tự chủ
AI agent — hệ thống AI tự lập kế hoạch, gọi công cụ và thực hiện chuỗi hành động để hoàn thành một mục tiêu — từng được coi là sân chơi riêng của LLM lớn, vì nó đòi hỏi suy luận và ra quyết định liên tục. Nhưng năm 2026, SLM đang trở thành lựa chọn thực tế cho agent trong các tác vụ hẹp: agent đặt lịch hẹn, agent xử lý email theo quy tắc, agent giám sát hệ thống và cảnh báo sự cố. Lý do là agent hẹp không cần kiến thức bách khoa, mà cần làm đúng một quy trình lặp lại nhiều lần với độ tin cậy cao — và SLM fine-tuning trên đúng quy trình đó thường đáng tin cậy hơn LLM lớn dùng chung, lại rẻ hơn nhiều khi agent chạy liên tục 24/7. Xu hướng này sẽ còn tăng khi các framework agent hỗ trợ tốt hơn việc dùng SLM làm “bộ não” cho agent chuyên biệt, với LLM lớn chỉ được gọi khi agent gặp tình huống ngoài kịch bản.
Distillation scaling laws và Gemma 4
Nghiên cứu về distillation scaling laws — trong đó có nghiên cứu của Apple năm 2025 do Dan Busbridge dẫn đầu — đang làm rõ khi nào distillation đáng đầu tư: distillation hiệu quả hơn huấn luyện trực tiếp khi đã có sẵn mô hình thầy tốt, hoặc khi cần tạo nhiều mô hình học trò khác nhau từ cùng một thầy. Nói cách khác, distillation là chiến lược của tổ chức có sẵn mô hình lớn và muốn “nhân bản” khả năng của nó ra nhiều phiên bản nhỏ cho nhiều thiết bị và tác vụ khác nhau. Đây là lý do các công ty lớn như Google, Microsoft và Alibaba đều đầu tư mạnh vào distillation: một lần tạo thầy giỏi, rồi chưng cất ra cả họ mô hình trò cho mọi phân khúc phần cứng.
Một dấu hiệu cho thấy chiến lược này đang đi đến đâu là Gemma 4 (2026): theo các tổng hợp năm 2026, Gemma 4 đạt điểm AIME 2026 khoảng 89,2% ở quy mô 31 tỷ tham số nhờ distillation — một mức điểm thi toán nâng cao mà trước đây chỉ các mô hình suy luận lớn mới đạt được. Con số này cần được đọc với lưu ý ở mục 10: AIME là một kỳ thi toán cụ thể, điểm số phụ thuộc vào cách đánh giá và điều kiện đo, và một điểm số cao trên một benchmark không có nghĩa mô hình giỏi mọi việc. Nhưng xu hướng thì rõ: khoảng cách giữa SLM và LLM lớn trên các benchmark suy luận đang thu hẹp nhanh, và “nhỏ” của năm 2026 đã mạnh hơn “lớn” của chỉ vài năm trước rất nhiều.
Lưu ý khi đọc số liệu benchmark của SLM
Số liệu benchmark là công cụ tham khảo hữu ích, không phải chân lý tuyệt đối — hãy đọc chúng kèm với nguồn, điều kiện đo và bài toán thực tế của bạn. Bài viết này trích dẫn các điểm số như MMLU khoảng 84,8% của Phi-4 hay GSM8K khoảng 88,6% của Phi-4-mini theo các tổng hợp năm 2026 từ app-lab.ai, codercops và botmonster, và cố tình dùng từ “khoảng” ở mọi con số. Có bốn lý do khiến người đọc cần thận trọng. Thứ nhất, mỗi benchmark đo một khía cạnh hẹp: MMLU đo kiến thức trắc nghiệm đa lĩnh vực, GSM8K đo toán tiểu học, AIME đo toán thi nâng cao — giỏi một benchmark không có nghĩa giỏi mọi việc. Thứ hai, điều kiện đo khác nhau cho kết quả khác nhau: cùng một mô hình có thể đạt điểm khác nhau tùy cách ra đề, số lần thử (few-shot hay zero-shot), và phiên bản benchmark. Thứ ba, benchmark có thể bị “luyện tủ”: mô hình huấn luyện trên dữ liệu gần giống đề thi sẽ đạt điểm cao mà không thực sự giỏi hơn. Thứ tư, và quan trọng nhất, điểm benchmark không đo được những thứ doanh nghiệp quan tâm nhất: độ ổn định qua hàng nghìn lượt dùng thật, khả năng tuân thủ quy trình riêng, hay chất lượng trả lời bằng tiếng Việt trong ngữ cảnh kinh doanh cụ thể. Cách dùng benchmark đúng là: dùng chúng để rút gọn danh sách ứng cử viên xuống còn 2–3 mô hình, rồi đo cả 2–3 mô hình đó trên dữ liệu thật của chính bạn, với tiêu chí do chính bạn đặt ra. Mô hình thắng trên dữ liệu của bạn mới là mô hình thắng.
Câu hỏi thường gặp (FAQs)
Mô hình ngôn ngữ nhỏ (SLM) là gì?
Mô hình ngôn ngữ nhỏ (SLM) là mô hình ngôn ngữ có quy mô tham số khiêm tốn, thường dưới khoảng 15 tỷ tham số, đủ nhỏ để chạy nhanh, rẻ và an toàn ngay trên điện thoại, laptop hoặc máy chủ biên. Không có ngưỡng chính thức nào phân biệt SLM với LLM; điều quan trọng là hệ quả thực tế: SLM chạy được ở nơi LLM lớn không thể chạy, với chi phí thấp hơn nhiều lần. Các SLM tiêu biểu gồm Phi-4, Gemma 3, Llama 3.2, Qwen2.5 và Mistral 7B.
Khi nào nên dùng SLM thay vì LLM khổng lồ?
Nên dùng SLM khi tác vụ đã xác định rõ và lặp lại (chatbot nội bộ, tóm tắt, phân loại), khi dữ liệu không được rời khỏi tổ chức, khi cần phản hồi tức thì hoặc hoạt động ngoại tuyến, và khi lưu lượng lớn khiến chi phí API LLM trở thành gánh nặng. Ngược lại, nên dùng LLM lớn khi tác vụ mở và chưa xác định trước, khi cần suy luận nhiều bước phức tạp, kiến thức chuyên sâu hiếm, hoặc khi phân tích tài liệu rất dài. Khi ứng dụng có cả hai loại tác vụ, kiến trúc lai SLM mặc định cộng LLM dự phòng là lựa chọn kinh tế nhất.
SLM có chính xác bằng LLM lớn không?
SLM có thể chính xác ngang hoặc vượt LLM lớn trên tác vụ hẹp đã được fine-tuning, vì nó học sâu đúng việc cần làm thay vì học rộng mọi việc. Ví dụ, mô hình T5 chỉ 770 triệu tham số sau khi chưng cất đã vượt mô hình PaLM 540 tỷ tham số trên một số benchmark, và Phi-4 14B đạt MMLU khoảng 84,8% theo các tổng hợp năm 2026. Tuy nhiên, trên tác vụ rộng, mới và đòi hỏi suy luận phức tạp, LLM lớn vẫn vượt trội. Vì vậy câu trả lời đúng không phải “SLM chính xác hơn” hay “kém hơn”, mà là “chính xác hơn trên đúng tác vụ của bạn hay không” — và điều đó chỉ đo được trên dữ liệu thật của bạn.
SLM chạy được trên điện thoại và laptop không?
Có. Các SLM dưới 1 tỷ tham số chạy được trên thiết bị nhúng và IoT; các mô hình 1–3 tỷ tham số như Llama 3.2 3B hay Phi-4-mini chạy được trên điện thoại và laptop, với bản 3B lượng tử hóa chỉ cần dưới 2 GB RAM; các mô hình 7–14 tỷ tham số như Mistral 7B hay Phi-4 chạy được trên laptop có GPU rời hoặc máy chủ biên. Apple Intelligence và Gemini Nano là hai ví dụ thương mại lớn nhất của SLM chạy ngay trên điện thoại, xử lý tóm tắt, viết lại và dịch thuật mà không cần mạng.
Chi phí chạy SLM rẻ hơn LLM bao nhiêu?
Theo các tổng hợp năm 2026, SLM tự vận hành rẻ hơn khoảng 5–20 lần so với gọi API LLM lớn ở cùng lưu lượng, vì chi phí chính của SLM là phần cứng mua một lần và điện năng, trong khi API LLM tính tiền theo từng triệu token và tăng theo lưu lượng. Tuy nhiên, con số này chỉ đúng khi lưu lượng đủ lớn và ổn định; với lưu lượng thấp và thất thường, API LLM lớn có thể rẻ hơn vì không cần đầu tư hạ tầng. Hãy ước tính tổng token mỗi tháng, nhân với đơn giá API, rồi so sánh với chi phí khấu hao phần cứng SLM trước khi quyết định.
Doanh nghiệp nhỏ nên bắt đầu triển khai SLM từ đâu?
Doanh nghiệp nhỏ nên bắt đầu từ một tác vụ hẹp, lặp lại và có giá trị rõ ràng — thường là chatbot nội bộ trả lời câu hỏi theo tài liệu, tóm tắt tài liệu, hoặc phân loại email và hồ sơ. Quy trình thực tế là: thử nghiệm nhanh bằng Ollama với một SLM 7B như Mistral 7B hoặc Qwen2.5 7B, kết nối tài liệu nội bộ qua RAG, đo chất lượng trên 50–100 ví dụ thật, rồi mới fine-tuning và đưa vào vận hành. Không cần mua phần cứng mới ngay: một laptop hoặc máy chủ sẵn có thường đủ cho giai đoạn thử nghiệm.
SLM có bị ảo giác (hallucination) không? Làm sao giảm thiểu?
Có. SLM vẫn bị ảo giác, và có thể ảo giác nhiều hơn LLM lớn trên câu hỏi ngoài phạm vi chuyên môn vì kiến thức nền của nó hẹp hơn. Cách giảm thiểu hiệu quả nhất là kết hợp SLM với RAG để mô hình trả lời dựa trên tài liệu thật thay vì dựa trên trí nhớ, thiết kế hệ thống để mô hình nói “tôi không biết” khi không tìm thấy tài liệu liên quan, và luôn có con người kiểm tra với các quyết định quan trọng. Với các ứng dụng mà câu trả lời sai có hậu quả nghiêm trọng như y tế, pháp lý hay tài chính, không nên để mô hình tự động ra quyết định cuối cùng.
Tương lai của SLM sẽ đi về đâu?
Tương lai của SLM đi theo ba hướng: đa phương thức (xử lý cả văn bản, hình ảnh và âm thanh trong một mô hình nhỏ), SLM cho AI agent chuyên biệt chạy liên tục với chi phí thấp, và distillation trở thành quy trình chuẩn để tạo ra cả họ mô hình nhỏ từ một mô hình thầy lớn. Các mô hình như Gemma 4 (2026) cho thấy SLM đang tiệm cận LLM lớn trên nhiều benchmark suy luận. Xu hướng chung là AI sẽ không chỉ sống trên đám mây mà sẽ sống trong mọi thiết bị — và SLM là công nghệ đưa AI đến đó.
Liên hệ AIA qua hotline 0939 936 168 để được tư vấn giải pháp AI phù hợp với doanh nghiệp của bạn.
