Vision-Language Model (VLM) là mô hình trí tuệ nhân tạo có thể đồng thời “nhìn” hình ảnh và “hiểu” ngôn ngữ: bạn đưa cho nó một bức ảnh và hỏi bằng tiếng Việt “trong ảnh có những gì?”, nó sẽ mô tả ảnh, trả lời câu hỏi, đọc chữ trong ảnh, thậm chí chỉ ra vị trí chính xác của từng vật thể. VLM kết hợp sức mạnh của mô hình thị giác (nhận diện hình ảnh) với sức mạnh của mô hình ngôn ngữ lớn (suy luận và diễn đạt), tạo ra một loại AI có thể làm việc với thế giới thực theo cách mà trước đây cần nhiều hệ thống riêng biệt. Bài viết giải thích VLM là gì, nó khác gì với mô hình thị giác truyền thống và LLM thuần văn bản, kiến trúc bên trong hoạt động ra sao, các ứng dụng thực tế từ mô tả ảnh đến kiểm tra chất lượng bằng camera, và cách chọn VLM phù hợp cho doanh nghiệp.
Vision-Language Model (VLM) là gì?
Vision-Language Model (VLM) là mô hình AI được huấn luyện để hiểu và xử lý đồng thời hai loại dữ liệu: hình ảnh (vision) và văn bản (language). Khác với mô hình thị giác truyền thống chỉ trả về nhãn hoặc tọa độ, và khác với mô hình ngôn ngữ lớn (LLM) chỉ xử lý chữ, VLM nhận đầu vào là cả ảnh và câu hỏi dạng văn bản, rồi trả lời bằng ngôn ngữ tự nhiên — có thể là mô tả, giải thích, phân tích hay hướng dẫn hành động. Nói một cách ngắn gọn: VLM là LLM được “gắn thêm đôi mắt”.
Để hình dung rõ hơn, hãy so sánh ba tình huống cùng một bức ảnh chụp một nhà kho. Một mô hình thị giác truyền thống (object detection) sẽ trả về danh sách: “hộp các-tông: 12, xe nâng: 1, người: 2” kèm tọa độ từng vật. Một LLM thuần văn bản thì không thể làm gì với bức ảnh, vì nó không “nhìn” được. Còn VLM sẽ trả lời câu hỏi “nhà kho này có vấn đề gì về an toàn không?” bằng một đoạn phân tích: “Có hai thùng hàng xếp chồng cao sát mép kệ ở phía trái, có nguy cơ đổ; lối đi giữa các kệ bị một xe nâng chắn một phần; hai công nhân trong ảnh đều đội mũ bảo hộ”. VLM không chỉ liệt kê vật thể mà còn hiểu quan hệ giữa chúng, bối cảnh của khung cảnh, và ý nghĩa của những gì nó thấy đối với câu hỏi cụ thể.
Sự khác biệt cốt lõi nằm ở chỗ VLM hiểu được ngữ nghĩa mở (open-ended semantics). Mô hình thị giác truyền thống chỉ nhận diện được những lớp đối tượng đã được huấn luyện trước — muốn nhận diện thêm một loại vật thể mới, phải thu thập dữ liệu, gán nhãn và huấn luyện lại. VLM thì khác: nhờ được huấn luyện trên lượng dữ liệu ảnh–văn bản khổng lồ, nó có thể trả lời về những vật thể và khái niệm mà nó chưa từng được huấn luyện một cách tường minh — chỉ cần bạn mô tả chúng bằng lời. Muốn tìm “chiếc cốc màu đỏ bị nứt ở góc bàn”? Chỉ cần hỏi, không cần huấn luyện lại mô hình. Khả năng này được gọi là zero-shot và là lý do VLM đang thay đổi cách các doanh nghiệp triển khai AI thị giác: từ “huấn luyện một mô hình cho mỗi bài toán” sang “hỏi một mô hình chung bằng ngôn ngữ tự nhiên”.
VLM cũng cần được phân biệt với multimodal LLM — thực ra hai thuật ngữ này gần như đồng nghĩa trong cách dùng hiện nay, với VLM nhấn mạnh khía cạnh thị giác–ngôn ngữ còn multimodal LLM nhấn mạnh rằng mô hình ngôn ngữ lớn là thành phần trung tâm. Các mô hình nổi tiếng như GPT-4V (phiên bản nhìn được hình ảnh của GPT-4), LLaVA, Flamingo hay các mô hình mã nguồn mở thế hệ mới đều thuộc họ VLM. Trong bài viết này, chúng ta dùng thuật ngữ VLM cho tất cả các mô hình AI có khả năng xử lý đồng thời hình ảnh và văn bản bằng ngôn ngữ tự nhiên.
VLM khác gì với mô hình thị giác truyền thống và LLM thuần văn bản?
Để hiểu vì sao VLM quan trọng, cần đặt nó cạnh hai “người tiền nhiệm”: mô hình thị giác máy truyền thống (computer vision) và mô hình ngôn ngữ lớn thuần văn bản (LLM). Ba loại mô hình này giải quyết ba bài toán khác nhau, và VLM ra đời chính là để lấp khoảng trống giữa chúng.
Mô hình thị giác truyền thống: chính xác, nhưng “câm”
Mô hình thị giác máy truyền thống gồm các bài toán quen thuộc: phân loại ảnh (image classification — ảnh này là mèo hay chó?), phát hiện vật thể (object detection — có những vật gì, ở đâu?), phân đoạn ảnh (segmentation — ranh giới từng vật thể ở đâu?), nhận diện khuôn mặt và đọc chữ trong ảnh (OCR). Các mô hình này — từ ResNet, EfficientNet đến YOLO — rất mạnh trong phạm vi hẹp của chúng: YOLO có thể phát hiện vật thể trong video thời gian thực với độ chính xác cao, chạy được ngay trên thiết bị biên tiêu thụ điện thấp. Nhưng chúng có ba hạn chế lớn. Thứ nhất, chúng chỉ làm được đúng việc đã huấn luyện: một mô hình phát hiện lỗi bề mặt thép không thể tự nhiên mô tả được một bức ảnh phong cảnh. Thứ hai, đầu ra của chúng là nhãn và tọa độ — dữ liệu có cấu trúc nhưng “câm”: chúng không giải thích, không suy luận, không trả lời câu hỏi “tại sao”. Thứ ba, thêm một lớp đối tượng mới đồng nghĩa với thu thập dữ liệu, gán nhãn, huấn luyện lại — một quy trình tốn kém và chậm.
LLM thuần văn bản: giỏi suy luận, nhưng “mù”
Ở đầu bên kia, LLM như GPT, Claude hay các mô hình ngôn ngữ lớn khác có khả năng suy luận, giải thích, tóm tắt và trò chuyện bằng ngôn ngữ tự nhiên ở trình độ rất cao. Nhưng LLM thuần văn bản chỉ nhận đầu vào là chữ: nó không thể xem một bức ảnh, không biết trong ảnh có gì, và không thể kiểm chứng một tuyên bố bằng hình ảnh. Muốn LLM làm việc với hình ảnh, người ta phải chuyển ảnh thành chữ trước — ví dụ dùng OCR để đọc chữ trong ảnh, hoặc dùng mô hình chú thích ảnh để tạo mô tả — rồi mới đưa chữ đó cho LLM. Quy trình hai bước này vừa mất thông tin (mô tả chữ không bao giờ đầy đủ bằng ảnh gốc), vừa tích lũy lỗi (OCR đọc sai thì LLM suy luận sai theo).
VLM: cầu nối giữa nhìn và hiểu
VLM kết hợp hai thế mạnh: khả năng “nhìn” của mô hình thị giác và khả năng “hiểu, suy luận, diễn đạt” của LLM — trong một mô hình thống nhất, được huấn luyện end-to-end (đầu-cuối). Thay vì chuyển ảnh thành chữ rồi mới suy luận, VLM đưa thông tin hình ảnh trực tiếp vào LLM dưới dạng các vector đặc trưng, để LLM “đọc” cả ảnh lẫn câu hỏi cùng lúc và suy luận trên cả hai. Kết quả là một hệ thống vừa nhận diện được vật thể, vừa hiểu được bối cảnh, vừa trả lời được những câu hỏi mở mà không cần huấn luyện riêng cho từng câu hỏi.
| Tiêu chí | Thị giác truyền thống (CV) | LLM thuần văn bản | Vision-Language Model (VLM) |
|---|---|---|---|
| Đầu vào | Chỉ hình ảnh/video | Chỉ văn bản | Hình ảnh + văn bản cùng lúc |
| Đầu ra | Nhãn, tọa độ, mặt nạ phân đoạn | Văn bản | Văn bản tự nhiên (mô tả, trả lời, phân tích) |
| Hiểu ngữ cảnh mở | Không — chỉ các lớp đã huấn luyện | Có — với văn bản | Có — với cả ảnh và văn bản |
| Trả lời câu hỏi mở | Không | Có, nhưng không thấy ảnh | Có, dựa trên nội dung ảnh thật |
| Thêm khái niệm mới | Cần gán nhãn và huấn luyện lại | Chỉ cần mô tả bằng lời | Chỉ cần mô tả bằng lời (zero-shot) |
| Suy luận và giải thích | Không | Mạnh | Mạnh, có căn cứ từ ảnh |
| Tốc độ / chi phí | Rất nhanh, chạy được trên thiết bị biên | Trung bình đến cao | Cao — cần GPU, chậm hơn CV truyền thống |
| Độ chính xác trên tác vụ hẹp | Rất cao (khi đã huấn luyện chuyên biệt) | Không áp dụng | Tốt nhưng thường thua mô hình chuyên biệt đã huấn luyện kỹ |
| Nguy cơ bịa thông tin | Thấp | Có (hallucination văn bản) | Có (hallucination thị giác: mô tả thứ không có trong ảnh) |
| Ứng dụng điển hình | Đếm sản phẩm, phát hiện lỗi, nhận diện khuôn mặt | Chatbot, tóm tắt, viết nội dung | Mô tả ảnh, VQA, đọc tài liệu, kiểm tra chất lượng linh hoạt |
Một điểm quan trọng cần nhấn mạnh: VLM không thay thế hoàn toàn mô hình thị giác truyền thống. Với các tác vụ hẹp, lặp lại, yêu cầu tốc độ thời gian thực và độ chính xác rất cao — ví dụ đếm hàng nghìn sản phẩm trên dây chuyền mỗi phút, hay phát hiện lỗi bề mặt với độ chính xác 99,9% — một mô hình YOLO hay mô hình phân đoạn chuyên biệt đã huấn luyện kỹ vẫn là lựa chọn tốt hơn và rẻ hơn nhiều. VLM tỏa sáng ở những tác vụ cần sự linh hoạt, hiểu ngữ cảnh mở và giao tiếp bằng ngôn ngữ tự nhiên — những nơi mà việc huấn luyện riêng một mô hình cho mỗi trường hợp là không khả thi. Trong thực tế, các hệ thống tốt nhất thường kết hợp cả hai: dùng CV truyền thống làm “mắt” nhanh và chính xác cho các tác vụ đã biết, dùng VLM làm “bộ não” phân tích những trường hợp phức tạp, bất thường hoặc cần giải thích.
Kiến trúc VLM: vision encoder, projector và LLM làm việc cùng nhau ra sao?
Hầu hết các VLM hiện đại đều có chung một kiến trúc ba thành phần: vision encoder (bộ mã hóa thị giác), projector (bộ chuyển đổi/căn chỉnh) và LLM (mô hình ngôn ngữ lớn). Hiểu vai trò của từng thành phần giúp bạn đánh giá đúng điểm mạnh, điểm yếu và giới hạn của từng mô hình VLM cụ thể.
Vision encoder: “đôi mắt” của mô hình
Vision encoder là thành phần biến ảnh thành các vector đặc trưng mà máy có thể tính toán. Cách làm phổ biến nhất hiện nay là dùng Vision Transformer (ViT): bức ảnh được chia thành nhiều ô vuông nhỏ gọi là patch (ví dụ ảnh 224×224 pixel chia thành các patch 16×16, tạo ra 196 patch), mỗi patch được biến thành một vector, rồi một mô hình Transformer xử lý toàn bộ các vector patch này — để ý đến quan hệ giữa các patch với nhau — và cho ra một tập hợp các vector đặc trưng đại diện cho nội dung của ảnh. Cách chia ảnh thành patch này tương tự như cách LLM chia văn bản thành các token: mỗi patch là một “từ” của hình ảnh.
Vision encoder thường được khởi tạo từ một mô hình đã huấn luyện sẵn trên dữ liệu ảnh–văn bản lớn, nổi tiếng nhất là CLIP của OpenAI. CLIP huấn luyện vision encoder và text encoder song song trên khoảng 400 triệu cặp ảnh–chú thích, sao cho ảnh và chú thích đúng của nó có vector gần nhau. Nhờ đó, vision encoder của CLIP không chỉ nhận diện được hình dạng và màu sắc mà còn “hiểu” ảnh ở mức khái niệm: nó biết một bức ảnh chứa “chó đang chạy trên bãi biển” chứ không chỉ là “có vật thể bốn chân màu nâu”. Việc tái sử dụng vision encoder của CLIP giúp các nhà phát triển VLM không phải huấn luyện lại “đôi mắt” từ đầu — một công việc tốn kém bậc nhất.
Một yếu tố quan trọng của vision encoder là độ phân giải ảnh đầu vào. Ảnh càng có độ phân giải cao thì mô hình càng đọc được chữ nhỏ và chi tiết nhỏ — nhưng số lượng patch tăng lên, chi phí tính toán tăng theo, và LLM phải xử lý nhiều token hình ảnh hơn. Các VLM thế hệ mới giải quyết bằng cách chia ảnh độ phân giải cao thành nhiều “tile” (ô lớn) rồi xử lý từng tile, hoặc dùng cơ chế nén token hình ảnh để giảm số lượng token đưa vào LLM mà vẫn giữ được thông tin quan trọng. Khi đánh giá một VLM cho bài toán đọc tài liệu hay kiểm tra chi tiết sản phẩm, hãy hỏi rõ mô hình xử lý ảnh ở độ phân giải nào — vì đây thường là yếu tố quyết định nó có đọc được chữ nhỏ trong ảnh của bạn hay không.
Projector: “phiên dịch viên” giữa ảnh và chữ
Vấn đề là vector đặc trưng từ vision encoder và vector từ ngữ của LLM sống trong hai “không gian” khác nhau: chúng có số chiều khác nhau và ý nghĩa hình học khác nhau. Projector (còn gọi là adapter hay connector) là thành phần chuyển đổi các vector hình ảnh sang đúng định dạng và không gian mà LLM có thể hiểu — biến chúng thành các “token hình ảnh” (visual token) có thể đặt cạnh các token văn bản trong cùng một chuỗi đầu vào của LLM. Projector có thể đơn giản như một lớp tuyến tính (linear layer), hoặc phức tạp hơn như một mô hình Transformer nhỏ (ví dụ Q-Former trong BLIP-2) có khả năng chọn lọc và nén thông tin hình ảnh quan trọng.
Chất lượng của projector ảnh hưởng trực tiếp đến việc VLM “nhìn rõ” đến đâu. Một projector yếu sẽ làm mất thông tin chi tiết của ảnh trước khi nó đến được LLM — giống như một phiên dịch viên dịch sót ý. Các nghiên cứu cho thấy việc cải thiện projector và tăng số lượng token hình ảnh thường mang lại hiệu quả rõ rệt trên các bài toán cần chi tiết như đọc biểu đồ hay đếm vật thể. Trong kiến trúc LLaVA — một trong những VLM mã nguồn mở có ảnh hưởng nhất — projector chỉ là một lớp tuyến tính đơn giản, nhưng chính sự đơn giản này giúp LLaVA dễ huấn luyện và dễ mở rộng, và các phiên bản sau của LLaVA đã cải tiến projector để xử lý ảnh độ phân giải cao tốt hơn.
LLM: “bộ não” suy luận và diễn đạt
Thành phần thứ ba là LLM — mô hình ngôn ngữ lớn như Llama, Qwen, Vicuna hay các mô hình độc quyền của OpenAI và Google. Sau khi nhận được chuỗi token gồm cả token văn bản (câu hỏi của người dùng) và token hình ảnh (đã qua projector), LLM xử lý toàn bộ chuỗi này bằng cơ chế attention: mỗi token có thể “nhìn” sang các token khác — kể cả token hình ảnh — để hiểu ngữ cảnh đầy đủ, rồi sinh ra câu trả lời từng từ một. Chính cơ chế attention này cho phép LLM gắn một từ trong câu hỏi (ví dụ “chiếc cốc đỏ”) với đúng vùng ảnh chứa chiếc cốc đó, thay vì chỉ dựa vào mô tả chung chung của toàn bộ ảnh.
Quá trình huấn luyện VLM thường gồm hai giai đoạn. Giai đoạn một là căn chỉnh (alignment): giữ cố định vision encoder và LLM, chỉ huấn luyện projector trên lượng lớn cặp ảnh–chú thích, để projector học cách “dịch” đặc trưng ảnh sang ngôn ngữ mà LLM hiểu. Giai đoạn hai là fine-tuning theo chỉ dẫn (instruction tuning): huấn luyện toàn bộ mô hình (hoặc một phần) trên dữ liệu gồm ảnh, câu hỏi và câu trả lời mẫu, để mô hình học cách trả lời câu hỏi, làm theo chỉ dẫn và trò chuyện về ảnh một cách tự nhiên. Chính giai đoạn hai này quyết định “tính cách” của VLM: nó trả lời ngắn gọn hay dài dòng, có từ chối khi không chắc chắn hay cứ bịa ra câu trả lời, có tuân thủ định dạng yêu cầu hay không.
Các mô hình VLM tiêu biểu: CLIP, Flamingo, LLaVA và GPT-4V
Lịch sử VLM là câu chuyện về việc các thành phần trên được kết hợp ngày càng khéo léo hơn. Dưới đây là những cột mốc quan trọng, đủ để bạn hiểu được bối cảnh khi lựa chọn mô hình.
CLIP (2021): nền móng của thị giác–ngôn ngữ hiện đại
CLIP của OpenAI, công bố năm 2021, không phải là một VLM đầy đủ theo nghĩa hiện nay — nó không sinh ra câu trả lời dạng văn bản tự do — nhưng nó là nền móng cho gần như mọi VLM sau này. CLIP học một không gian chung cho ảnh và văn bản từ 400 triệu cặp ảnh–chú thích, và khả năng phân loại zero-shot của nó (phân loại ảnh vào nhãn mới chỉ bằng cách so sánh với vector của nhãn dạng văn bản) đã chứng minh rằng học từ dữ liệu ảnh–văn bản quy mô lớn có thể tạo ra hiểu biết thị giác linh hoạt, không cần gán nhãn thủ công. Vision encoder của CLIP đến nay vẫn được dùng làm “đôi mắt” cho nhiều VLM mã nguồn mở.
Flamingo (2022): VLM học từ ít ví dụ
Flamingo của DeepMind, công bố năm 2022, là một trong những VLM đầu tiên chứng minh khả năng few-shot learning trên ảnh: chỉ cần cho mô hình xem vài ví dụ (ảnh kèm câu hỏi và câu trả lời mẫu) trong prompt, nó có thể thực hiện nhiệm vụ mới mà không cần huấn luyện lại. Flamingo dùng kiến trúc đặc biệt với các lớp cross-attention xen kẽ: LLM “tham khảo” thông tin hình ảnh tại nhiều tầng khác nhau trong quá trình xử lý, thay vì chỉ nhận token hình ảnh ở đầu vào. Flamingo không được phát hành công khai, nhưng ý tưởng của nó — gắn vision encoder mạnh vào LLM lớn qua cross-attention, và huấn luyện trên dữ liệu ảnh–văn bản xen kẽ quy mô lớn — đã ảnh hưởng sâu sắc đến các VLM sau này.
LLaVA (2023): VLM mã nguồn mở cho mọi người
LLaVA (Large Language and Vision Assistant), do nhóm nghiên cứu tại Đại học Wisconsin–Madison và Microsoft công bố năm 2023, là bước ngoặt dân chủ hóa VLM: một mô hình mã nguồn mở với kiến trúc đơn giản (vision encoder CLIP + projector tuyến tính + LLM Vicuna/Llama) nhưng đạt chất lượng trò chuyện về ảnh đáng ngạc nhiên, nhờ dữ liệu instruction tuning được tạo ra khéo léo bằng cách dùng GPT-4 để sinh câu hỏi và câu trả lời từ mô tả ảnh. LLaVA cho thấy một VLM tốt không nhất thiết cần dữ liệu huấn luyện khổng lồ và bí mật — chỉ cần kiến trúc đúng và dữ liệu chỉ dẫn chất lượng. Các phiên bản sau (LLaVA-1.5, LLaVA-NeXT) cải thiện khả năng xử lý ảnh độ phân giải cao và hỗ trợ nhiều ngôn ngữ hơn, và LLaVA trở thành nền tảng để cộng đồng xây dựng hàng loạt VLM chuyên biệt.
GPT-4V và thế hệ VLM thương mại
GPT-4V (GPT-4 with Vision) của OpenAI, ra mắt năm 2023, là VLM thương mại đầu tiên được dùng rộng rãi, đưa khả năng “vừa nhìn vừa hiểu” đến hàng trăm triệu người dùng. GPT-4V có thể mô tả ảnh, đọc biểu đồ, phân tích ảnh chụp màn hình, giải bài toán từ ảnh chụp bảng, và trả lời câu hỏi về ảnh bằng ngôn ngữ tự nhiên với chất lượng cao hơn hẳn các mô hình mã nguồn mở cùng thời. Các đối thủ như Gemini của Google, Claude của Anthropic (với khả năng xử lý ảnh từ Claude 3) và các mô hình của các hãng Trung Quốc như Qwen-VL nhanh chóng theo sau, tạo ra một thị trường VLM thương mại cạnh tranh mạnh. Theo kiến thức chung trong ngành, các VLM thương mại hàng đầu hiện nay vẫn dẫn trước các mô hình mã nguồn mở về độ chính xác trên các bài toán khó, nhưng khoảng cách đang thu hẹp nhanh — và với nhiều ứng dụng doanh nghiệp, VLM mã nguồn mở đã đủ tốt, lại có lợi thế về chi phí, kiểm soát dữ liệu và khả năng tùy biến.
Một diễn biến đáng chú ý gần đây là sự xuất hiện của các mô hình grounding chuyên biệt — VLM có khả năng chỉ ra vị trí chính xác của vật thể được mô tả bằng lời. Điển hình là GroundingPI của Xpeng, một mô hình perception (cảm nhận) mã nguồn mở với 4 tỷ tham số, được công bố ngày 4/11/2026. Theo thông tin công bố, GroundingPI được báo cáo là vượt GPT-6 Astra trên một bộ 34 benchmark về grounding và cảm nhận thị giác. Dù các con số benchmark cần được kiểm chứng độc lập — các hãng thường chọn bộ benchmark có lợi cho mình — sự xuất hiện của một mô hình grounding mã nguồn mở mạnh cho thấy xu hướng rõ rệt: khả năng “chỉ đúng vật thể được nhắc đến” đang trở thành một năng lực tiêu chuẩn của VLM, và các mô hình chuyên biệt cho grounding có thể vượt các mô hình đa năng lớn trong chính nhiệm vụ hẹp của mình. Với các ứng dụng robot, xe tự hành và kiểm tra công nghiệp — nơi “vật thể đó ở đâu” quan trọng không kém “vật thể đó là gì” — đây là một hướng phát triển rất đáng theo dõi.
VLM “nhìn” như thế nào? Từ patch ảnh đến căn chỉnh không gian ảnh–văn bản
Để hiểu sâu hơn cách VLM hoạt động, hãy đi theo hành trình của một bức ảnh từ lúc được đưa vào mô hình đến khi mô hình trả lời. Hành trình này có bốn bước: chia ảnh thành patch, mã hóa thành đặc trưng, căn chỉnh với văn bản, và suy luận chung.
Bước 1: chia ảnh thành patch. VLM không “nhìn” toàn bộ ảnh cùng lúc như mắt người. Nó chia ảnh thành lưới các ô vuông nhỏ (patch) — ví dụ ảnh 336×336 pixel chia thành patch 14×14 sẽ cho 24×24 = 576 patch. Mỗi patch chứa một mảnh nhỏ của ảnh: một phần của khuôn mặt, một góc của chiếc bàn, một mảng màu của bầu trời. Việc chia nhỏ này là cần thiết vì Transformer — kiến trúc nền tảng của VLM — xử lý dữ liệu dưới dạng chuỗi các phần tử (token), và patch chính là “token” của hình ảnh.
Bước 2: mã hóa patch thành vector đặc trưng. Mỗi patch được biến thành một vector số, rồi toàn bộ các vector patch đi qua nhiều lớp Transformer của vision encoder. Tại mỗi lớp, cơ chế self-attention cho phép mỗi patch “nhìn” sang các patch khác: patch chứa mắt người sẽ chú ý đến patch chứa mũi và miệng gần đó, patch chứa bánh xe sẽ chú ý đến patch chứa thân xe. Sau nhiều lớp như vậy, mỗi vector patch không còn chỉ đại diện cho mảnh ảnh nhỏ ban đầu, mà đã chứa thông tin về bối cảnh xung quanh — giống như cách một từ trong câu mang nghĩa của cả câu sau khi đi qua BERT. Tập hợp các vector này là “bản tóm tắt có cấu trúc” của bức ảnh.
Bước 3: căn chỉnh không gian ảnh–văn bản. Đây là bước quyết định nhất và cũng khó nhất. Vector đặc trưng ảnh và vector từ ngữ sống trong hai không gian khác nhau, và nhiệm vụ của projector là “dịch” vector ảnh sang không gian của LLM. Việc căn chỉnh này được học từ dữ liệu huấn luyện khổng lồ gồm các cặp ảnh–chú thích: mô hình học rằng vector của vùng ảnh chứa chó phải nằm gần vector của từ “chó” trong không gian chung. Khi căn chỉnh tốt, LLM có thể đối xử với token hình ảnh gần như token văn bản: nó “đọc” được rằng token này là chó, token kia là bãi biển, và quan hệ giữa chúng là “chó đang chạy trên bãi biển”. Khi căn chỉnh kém, mô hình sẽ “nhìn gà hóa cuốc”: nó thấy đúng vật thể nhưng gán nhầm khái niệm, hoặc thấy được khái niệm chung nhưng mất chi tiết quan trọng.
Bước 4: suy luận chung trên ảnh và văn bản. Cuối cùng, LLM nhận chuỗi token gồm cả token văn bản (câu hỏi) và token hình ảnh, rồi dùng cơ chế attention để suy luận trên cả hai cùng lúc. Khi bạn hỏi “chiếc cốc đỏ ở đâu?”, attention của LLM sẽ tập trung vào các token hình ảnh tương ứng với vùng chứa chiếc cốc đỏ — và đó là cơ sở của khả năng grounding: chỉ ra vị trí vật thể. Khi bạn hỏi “bức ảnh này có vấn đề gì?”, LLM sẽ tổng hợp thông tin từ toàn bộ token hình ảnh, đối chiếu với tri thức của nó về thế giới (ví dụ “thùng hàng xếp chồng cao sát mép kệ là nguy hiểm”), rồi diễn đạt thành câu trả lời. Điểm mấu chốt: VLM không có một module “suy luận” riêng cho ảnh — chính LLM thực hiện suy luận, và chất lượng suy luận phụ thuộc vào việc token hình ảnh có mang đủ thông tin chi tiết hay không.
Một hệ quả thực tế của kiến trúc này là số lượng token hình ảnh ảnh hưởng trực tiếp đến chất lượng và chi phí. Ảnh độ phân giải cao tạo ra nhiều token hình ảnh hơn, LLM xử lý chậm hơn và tốn chi phí hơn — nhưng lại “nhìn” rõ chi tiết nhỏ hơn. Các VLM hiện đại dùng nhiều kỹ thuật để cân bằng: nén nhiều patch thành một token, chỉ giữ lại các token hình ảnh quan trọng, hoặc xử lý ảnh ở nhiều độ phân giải (nhìn tổng thể ở độ phân giải thấp, “soi” chi tiết ở độ phân giải cao khi cần). Khi triển khai VLM, việc hiểu được đánh đổi này giúp bạn chọn đúng cấu hình: ảnh chụp tài liệu cần độ phân giải cao, ảnh mô tả cảnh chung thì độ phân giải vừa đã đủ.
Ứng dụng thực tế của VLM
VLM đang được ứng dụng ở những nơi mà trước đây cần kết hợp nhiều hệ thống riêng biệt. Dưới đây là các ứng dụng quan trọng nhất, với cách chúng vận hành trong thực tế và những lưu ý khi triển khai.
Mô tả ảnh và trả lời câu hỏi về ảnh (VQA)
Ứng dụng cơ bản nhất của VLM là mô tả ảnh (image captioning) và trả lời câu hỏi về ảnh (Visual Question Answering — VQA). Người dùng đưa ảnh và hỏi bất cứ điều gì: “trong ảnh có bao nhiêu người?”, “người đàn ông đang làm gì?”, “thời tiết trong ảnh thế nào?”, “bức ảnh này chụp ở đâu?”. VLM trả lời bằng ngôn ngữ tự nhiên, có thể dài hay ngắn tùy yêu cầu. Ứng dụng này phục vụ nhiều đối tượng: người khiếm thị dùng VLM để “nghe” mô tả về thế giới xung quanh qua camera điện thoại; đội ngũ marketing dùng VLM để tự động tạo mô tả và thẻ tag cho hàng nghìn ảnh sản phẩm; các nền tảng thương mại điện tử dùng VLM để tạo mô tả sản phẩm từ ảnh chụp, giảm công việc thủ công. Lưu ý thực tế: chất lượng mô tả phụ thuộc nhiều vào cách đặt câu hỏi (prompt) — hỏi cụ thể (“mô tả chi tiết trang phục của người trong ảnh”) cho kết quả tốt hơn hỏi chung chung (“mô tả ảnh này”).
Đọc tài liệu, biểu đồ và bảng biểu
VLM đọc được chữ trong ảnh — không chỉ chữ in rõ ràng mà cả chữ viết tay, chữ trên bảng biểu, biểu đồ và sơ đồ — và hiểu được cấu trúc của chúng. Đưa cho VLM ảnh chụp một hóa đơn, nó có thể trích xuất tên nhà cung cấp, ngày tháng, tổng tiền và từng dòng mặt hàng. Đưa cho nó ảnh một biểu đồ doanh thu, nó có thể đọc các con số, mô tả xu hướng (“doanh thu tăng mạnh trong quý 3 rồi chững lại trong quý 4”) và thậm chí phát hiện điểm bất thường. Đưa cho nó ảnh chụp một bảng dữ liệu, nó có thể chuyển thành bảng có cấu trúc để đưa vào hệ thống khác. So với OCR truyền thống — chỉ trích xuất chuỗi ký tự mà không hiểu cấu trúc hay ý nghĩa — VLM hiểu được rằng con số này là “tổng tiền” còn con số kia là “thuế”, và có thể trả lời câu hỏi trực tiếp trên tài liệu (“hóa đơn này đã bao gồm VAT chưa?”). Hạn chế cần biết: VLM đọc chữ nhỏ và chữ viết tay nguệch ngoạc kém hơn OCR chuyên dụng, và với tài liệu dài nhiều trang, việc xử lý từng trang bằng VLM tốn chi phí hơn nhiều so với pipeline OCR truyền thống. Cách làm thực tế tốt nhất hiện nay là kết hợp: OCR để trích xuất văn bản hàng loạt với chi phí thấp, VLM để xử lý những tài liệu phức tạp, không theo mẫu cố định, hoặc để kiểm chứng và sửa lỗi cho kết quả OCR.
Grounding: chỉ ra vị trí chính xác của vật thể
Grounding (visual grounding) là khả năng xác định vị trí của một vật thể được mô tả bằng ngôn ngữ tự nhiên: người dùng nói “chiếc xe màu đỏ ở phía bên trái”, mô hình trả về tọa độ khung bao (bounding box) của chiếc xe đó. Đây là năng lực nền tảng cho robot và xe tự hành: robot cần biết “cái cốc” mà người dùng nhắc đến là cái cốc nào trong số nhiều cái cốc trên bàn, và nó ở vị trí nào để cánh tay máy với tới. Khác với phát hiện vật thể truyền thống — chỉ tìm các lớp đối tượng cố định như “xe”, “người” — grounding hiểu được mô tả phức tạp có tính chất và quan hệ: “người đàn ông đội mũ đỏ đang đứng cạnh cửa sổ”, “chiếc hộp nhỏ nhất trên kệ thứ hai”. Các mô hình grounding chuyên biệt như GroundingPI của Xpeng (công bố 4/11/2026, 4 tỷ tham số, mã nguồn mở) đang đẩy năng lực này lên mức mới: theo thông tin công bố, mô hình này được báo cáo là vượt GPT-6 Astra trên bộ 34 benchmark về grounding và cảm nhận thị giác. Dù các con số benchmark từ nhà sản xuất cần được kiểm chứng độc lập trước khi dùng làm căn cứ mua hàng, xu hướng là rõ ràng: grounding đang trở thành năng lực tiêu chuẩn của VLM, và các mô hình chuyên biệt có thể vượt mô hình đa năng trong chính nhiệm vụ của mình. Với doanh nghiệp làm robot, kho bãi thông minh hay xe tự hành, grounding là tiêu chí đánh giá VLM quan trọng không kém khả năng mô tả ảnh.
Kiểm tra chất lượng bằng camera trong sản xuất
Trong nhà máy, VLM đang thay đổi cách kiểm tra chất lượng. Trước đây, mỗi loại lỗi cần một mô hình thị giác chuyên biệt được huấn luyện riêng: lỗi xước bề mặt, linh kiện thiếu, nhãn dán sai vị trí, màu sắc không đạt — mỗi loại một mô hình, một bộ dữ liệu gán nhãn, một quy trình huấn luyện. Với VLM, kỹ sư chất lượng có thể mô tả bằng lời những gì cần kiểm tra (“sản phẩm này có vết xước hay mẻ cạnh không? nhãn có dán thẳng không?”) và mô hình sẽ kiểm tra, mô tả lỗi, thậm chí đánh giá mức độ nghiêm trọng. Lợi thế lớn nhất là tính linh hoạt: khi sản phẩm mới xuất hiện hay tiêu chuẩn kiểm tra thay đổi, chỉ cần đổi câu hỏi — không cần thu thập dữ liệu và huấn luyện lại mô hình. Hạn chế thực tế: VLM hiện tại chưa đạt độ chính xác và tốc độ của mô hình chuyên biệt trên dây chuyền tốc độ cao (nơi mỗi sản phẩm chỉ có vài chục mili-giây để kiểm tra), và chi phí chạy VLM cho từng sản phẩm cao hơn nhiều so với mô hình nhỏ chạy trên thiết bị biên. Mô hình triển khai thực tế: dùng mô hình thị giác truyền thống để sàng lọc nhanh toàn bộ sản phẩm, dùng VLM để phân tích sâu những trường hợp nghi ngờ hoặc bất thường — vừa nhanh, vừa linh hoạt, vừa có giải thích bằng lời cho từng quyết định loại bỏ sản phẩm.
Hỗ trợ người khiếm thị và trợ năng
Một trong những ứng dụng nhân văn nhất của VLM là hỗ trợ người khiếm thị. Các ứng dụng như Be My Eyes đã tích hợp VLM để người dùng khiếm thị chụp ảnh môi trường xung quanh và nhận mô tả bằng giọng nói: “trước mặt bạn là một ngã tư, đèn đang đỏ, có một xe máy đang đến từ bên trái”. VLM cũng giúp đọc nhãn sản phẩm trong siêu thị, đọc thực đơn trong nhà hàng, nhận diện tiền giấy, mô tả biểu cảm của người đối diện. Khác với các công cụ trợ năng trước đây — chỉ đọc được chữ in (OCR) hoặc nhận diện được vài chục vật thể cố định — VLM trả lời được những câu hỏi mở (“cái áo này có hợp với quần kia không?”, “phòng này có bừa bộn không?”), mang lại sự độc lập lớn hơn nhiều cho người dùng. Đây cũng là lĩnh vực mà độ tin cậy của VLM đặc biệt quan trọng: một mô tả sai về môi trường giao thông có thể gây nguy hiểm thật, nên các ứng dụng này luôn cần cơ chế cảnh báo rõ ràng rằng AI có thể sai và người dùng cần xác minh bằng các giác quan khác hoặc nhờ người hỗ trợ trong tình huống quan trọng.
Ứng dụng khác: y tế, bán lẻ, an ninh và giáo dục
Trong y tế, VLM hỗ trợ bác sĩ mô tả và phân tích hình ảnh y khoa (X-quang, siêu âm, ảnh da liễu) bằng ngôn ngữ tự nhiên, tạo báo cáo sơ bộ và trả lời câu hỏi về hình ảnh — tuy nhiên cần nhấn mạnh rằng VLM y tế hiện tại chỉ là công cụ hỗ trợ, không thay thế chẩn đoán của bác sĩ, và phải tuân thủ các quy định nghiêm ngặt về thiết bị y tế. Trong bán lẻ, VLM giúp tìm kiếm sản phẩm bằng ảnh (“tìm chiếc áo giống trong ảnh này”), kiểm tra trưng bày trên kệ có đúng quy chuẩn không, và tự động tạo nội dung mô tả sản phẩm. Trong an ninh, VLM phân tích video giám sát bằng câu hỏi tự nhiên (“có ai vào khu vực cấm trong giờ qua không?”) thay vì xem lại hàng giờ video. Trong giáo dục, VLM giải thích hình ảnh trong sách giáo khoa, chấm bài tập vẽ sơ đồ, và hỗ trợ học sinh khiếm thị tiếp cận tài liệu có hình ảnh. Điểm chung của các ứng dụng này: chúng đều cần sự kết hợp giữa “nhìn thấy” và “hiểu bằng ngôn ngữ” — đúng thứ mà VLM sinh ra để làm.
VLM vs CV truyền thống vs LLM: chọn cái nào cho bài toán của bạn?
Bảng so sánh ở phần trên đã cho thấy ba loại mô hình có thế mạnh khác nhau. Dưới đây là hướng dẫn chọn lựa theo từng tình huống thực tế.
- Chọn CV truyền thống khi: tác vụ hẹp và lặp lại (đếm, phát hiện một loại lỗi cố định); yêu cầu tốc độ thời gian thực (video 30 khung hình/giây); cần chạy trên thiết bị biên tiêu thụ điện thấp; yêu cầu độ chính xác rất cao và đã có dữ liệu gán nhãn tốt; ngân sách tính toán hạn chế.
- Chọn VLM khi: tác vụ cần hiểu ngữ cảnh mở và trả lời câu hỏi linh hoạt; khái niệm cần nhận diện thay đổi thường xuyên và không thể huấn luyện lại mỗi lần; cần giải thích bằng ngôn ngữ tự nhiên cho quyết định của AI; dữ liệu gán nhãn ít hoặc không có; người dùng cuối tương tác bằng câu hỏi tự nhiên.
- Chọn LLM thuần văn bản khi: đầu vào chỉ là văn bản; bài toán là suy luận, viết, tóm tắt hay trò chuyện không cần hình ảnh; cần tốc độ và chi phí thấp nhất cho tác vụ văn bản.
- Kết hợp cả hai khi: hệ thống cần vừa nhanh vừa linh hoạt — ví dụ CV truyền thống sàng lọc nhanh, VLM phân tích sâu trường hợp khó; hoặc VLM tạo mô tả ảnh, LLM dùng mô tả đó để suy luận tiếp trong quy trình nghiệp vụ dài.
Một nguyên tắc thực tế: hãy bắt đầu bằng bài toán cụ thể nhất của bạn, đo hiệu quả của phương án đơn giản nhất trước (CV truyền thống hoặc thậm chí quy tắc thủ công), rồi chỉ chuyển sang VLM khi phương án đơn giản không đáp ứng được yêu cầu về tính linh hoạt. VLM mạnh, nhưng nó đắt và chậm — dùng nó cho việc mà mô hình nhỏ làm được là lãng phí.
Hạn chế của VLM mà người triển khai cần biết rõ
VLM là công nghệ mạnh mẽ nhưng còn non trẻ, và các hạn chế dưới đây không phải là chi tiết nhỏ — chúng quyết định VLM có phù hợp với bài toán của bạn hay không.
Hallucination thị giác: mô tả thứ không có trong ảnh. Đây là hạn chế nghiêm trọng nhất. VLM có thể tự tin mô tả một vật thể không hề tồn tại trong ảnh, đọc sai một con số trên biểu đồ, hay khẳng định một người đang làm điều mà thực ra họ không làm. Nguyên nhân nằm ở bản chất của LLM: nó được huấn luyện để sinh ra văn bản trôi chảy và hợp lý, và khi thông tin hình ảnh không rõ ràng, nó có xu hướng “lấp đầy” bằng suy đoán nghe có vẻ hợp lý. Các nghiên cứu về hallucination thị giác cho thấy tỉ lệ bịa đặt tăng lên khi câu hỏi gợi ý một đáp án cụ thể (“chiếc xe đỏ trong ảnh là hãng nào?” — trong khi ảnh không có xe đỏ nào), hoặc khi ảnh mờ, tối hay có nhiều chi tiết gây nhiễu. Cách giảm thiểu: yêu cầu mô hình chỉ trả lời những gì chắc chắn thấy và nói “không thấy” khi không chắc; kiểm chứng chéo bằng cách hỏi lại theo cách khác; với các quyết định quan trọng, luôn có con người xác minh hoặc dùng mô hình chuyên biệt song song.
Đếm vật thể và quan hệ không gian còn yếu. VLM thường đếm sai khi có nhiều vật thể giống nhau (đếm 7 thành 9, hoặc bỏ sót vật thể bị che khuất một phần), và thường nhầm lẫn quan hệ không gian (“bên trái” với “bên phải”, “trên” với “dưới”) khi khung cảnh phức tạp. Nguyên nhân là vision encoder nén ảnh thành các token đặc trưng và mất đi một phần thông tin vị trí chính xác trong quá trình đó. Với các bài toán đếm chính xác (kiểm kê kho, đếm sản phẩm), mô hình phát hiện vật thể truyền thống vẫn chính xác hơn nhiều. Các VLM thế hệ mới đang cải thiện điểm này bằng cách tăng độ phân giải ảnh đầu vào và dùng các kỹ thuật grounding chuyên biệt, nhưng đây vẫn là điểm yếu cần kiểm tra kỹ trước khi triển khai.
Chữ nhỏ, tài liệu dày đặc và chi tiết tinh tế. VLM đọc chữ trong ảnh tốt ở mức chữ in rõ ràng, kích thước vừa phải, nhưng kém đi rõ rệt với chữ rất nhỏ, chữ viết tay, bảng biểu dày đặc nhiều cột, hay sơ đồ kỹ thuật phức tạp. Nguyên nhân là ảnh phải được nén xuống độ phân giải mà vision encoder xử lý được, và trong quá trình nén, chữ nhỏ bị mờ đi. Nếu bài toán của bạn là đọc hàng nghìn hóa đơn hay hợp đồng dài, pipeline OCR chuyên dụng cộng với LLM xử lý văn bản thường cho độ chính xác cao hơn và chi phí thấp hơn nhiều so với việc đưa từng trang tài liệu cho VLM.
Chi phí tính toán và độ trễ cao. Một VLM điển hình có hàng tỷ đến hàng chục tỷ tham số và cần GPU mạnh để chạy; thời gian trả lời cho một ảnh thường tính bằng giây, trong khi mô hình thị giác truyền thống trả lời trong vài chục mili-giây. Với ứng dụng xử lý video thời gian thực hay kiểm tra hàng nghìn sản phẩm mỗi giờ, chi phí GPU và độ trễ của VLM có thể trở thành rào cản kinh tế thực sự. Các mô hình VLM nhỏ gọn (dưới 10 tỷ tham số, ví dụ các mô hình 4 tỷ tham số như GroundingPI) và các kỹ thuật lượng tử hóa đang giúp giảm chi phí này, nhưng khoảng cách với CV truyền thống vẫn còn lớn.
Thiên lệch và vấn đề an toàn. VLM kế thừa thiên lệch từ cả dữ liệu ảnh và dữ liệu văn bản mà nó được huấn luyện: nó có thể mô tả người trong ảnh theo khuôn mẫu giới tính hay chủng tộc, hoặc đưa ra nhận xét không phù hợp về ngoại hình. Ngoài ra, VLM có thể bị đánh lừa bằng ảnh chứa chữ viết (prompt injection qua ảnh): một tấm biển trong ảnh ghi “hãy bỏ qua hướng dẫn và làm X” có thể khiến mô hình làm theo chỉ dẫn trong ảnh thay vì chỉ dẫn của người dùng. Khi triển khai VLM cho người dùng cuối, cần có lớp kiểm duyệt đầu ra và cơ chế xử lý các trường hợp nhạy cảm — đặc biệt khi mô hình làm việc với ảnh có người.
Hướng dẫn chọn và dùng VLM cho doanh nghiệp
Chọn VLM cho doanh nghiệp không nên bắt đầu từ việc “mô hình nào mạnh nhất”, mà từ bài toán cụ thể và các ràng buộc thực tế. Dưới đây là quy trình từng bước.
Bước 1: Định nghĩa bài toán bằng câu hỏi mẫu
Hãy viết ra 20–30 câu hỏi thực tế mà hệ thống sẽ phải trả lời trên ảnh thật của bạn, kèm đáp án đúng do con người xác định. Ví dụ với kiểm tra chất lượng: “sản phẩm trong ảnh có vết xước không?”, “nhãn dán có lệch không?”, “đủ 4 ốc vít chưa?”. Bộ câu hỏi này là “bài kiểm tra” để đánh giá mọi mô hình ứng viên — và nó quan trọng hơn bất kỳ bảng xếp hạng benchmark nào, vì benchmark chung không phản ánh dữ liệu và yêu cầu riêng của bạn.
Bước 2: Chọn giữa VLM thương mại và mã nguồn mở
VLM thương mại (qua API như GPT-4V, Gemini, Claude) có ưu điểm là triển khai ngay, chất lượng cao nhất hiện nay, không cần đầu tư hạ tầng GPU. Nhược điểm: chi phí theo lượt gọi (đắt khi xử lý hàng nghìn ảnh mỗi ngày), dữ liệu ảnh phải gửi ra ngoài (vấn đề với dữ liệu nhạy cảm như ảnh y tế hay ảnh trong nhà máy), và phụ thuộc vào nhà cung cấp. VLM mã nguồn mở (LLaVA, Qwen-VL, các mô hình grounding như GroundingPI) có ưu điểm là chạy tại chỗ, kiểm soát được dữ liệu, chi phí cố định theo hạ tầng, và tùy biến được bằng fine-tuning trên dữ liệu riêng. Nhược điểm: cần đội ngũ kỹ thuật để triển khai và vận hành GPU, chất lượng thường thấp hơn mô hình thương mại hàng đầu trên các bài toán khó. Quy tắc thực tế: dùng API thương mại để thử nghiệm nhanh và cho các ứng dụng khối lượng thấp; chuyển sang mã nguồn mở chạy tại chỗ khi khối lượng lớn, dữ liệu nhạy cảm, hoặc cần tùy biến sâu.
Bước 3: Thiết kế prompt và quy trình kiểm chứng
Chất lượng đầu ra của VLM phụ thuộc rất nhiều vào prompt. Một số nguyên tắc đã được kiểm chứng: yêu cầu mô hình trả lời theo định dạng cố định (ví dụ JSON với các trường xác định) để dễ xử lý tự động; yêu cầu mô hình nói “không rõ” khi không chắc chắn thay vì đoán; đưa ra ví dụ mẫu (few-shot) về câu trả lời đúng; và tách câu hỏi phức tạp thành nhiều câu hỏi nhỏ, cụ thể. Quan trọng không kém là quy trình kiểm chứng: với các quyết định có hậu quả (loại bỏ sản phẩm, chẩn đoán, an ninh), luôn có bước con người xác minh hoặc mô hình thứ hai kiểm tra chéo; ghi lại log đầy đủ (ảnh đầu vào, câu hỏi, câu trả lời) để truy vết khi có sai sót; và theo dõi tỉ lệ sai theo thời gian để phát hiện khi mô hình hoạt động kém đi trên dữ liệu mới.
Bước 4: Tính toán chi phí và đo hiệu quả thực tế
Trước khi triển khai rộng, hãy chạy thử trên 100–500 ảnh thật và đo ba chỉ số: độ chính xác trên bộ câu hỏi mẫu (so với đáp án con người), thời gian trả lời trung bình, và chi phí trên mỗi ảnh (tiền API hoặc chi phí GPU quy đổi). So sánh với phương án hiện tại của bạn (làm thủ công hay mô hình chuyên biệt) trên cả ba chỉ số — không chỉ độ chính xác. Một VLM chính xác 95% nhưng tốn 5 giây và 2.000 đồng mỗi ảnh có thể không kinh tế bằng một mô hình chuyên biệt chính xác 97% chạy trong 50 mili-giây với chi phí gần như bằng không — trừ khi tính linh hoạt của VLM mang lại giá trị lớn hơn phần chi phí chênh lệch. Hãy để con số quyết định, không để sự hào hứng với công nghệ mới quyết định.
Câu hỏi thường gặp (FAQs)
Vision-Language Model (VLM) là gì?
Vision-Language Model (VLM) là mô hình AI có thể xử lý đồng thời hình ảnh và văn bản: bạn đưa cho nó một bức ảnh kèm câu hỏi bằng ngôn ngữ tự nhiên, nó sẽ mô tả ảnh, trả lời câu hỏi, đọc chữ trong ảnh hay chỉ ra vị trí vật thể. VLM kết hợp vision encoder (bộ mã hóa thị giác, thường dựa trên Vision Transformer và CLIP) với mô hình ngôn ngữ lớn (LLM) thông qua một bộ chuyển đổi gọi là projector. Nhờ đó, VLM vừa “nhìn” được hình ảnh, vừa suy luận và diễn đạt bằng ngôn ngữ tự nhiên — khác với mô hình thị giác truyền thống chỉ trả về nhãn và tọa độ, và khác với LLM thuần văn bản vốn không thấy được ảnh.
VLM khác mô hình thị giác truyền thống như thế nào?
Mô hình thị giác truyền thống (như YOLO hay ResNet) chỉ làm đúng việc đã được huấn luyện — phát hiện, phân loại hay phân đoạn các lớp đối tượng cố định — và trả về nhãn cùng tọa độ, không giải thích hay trả lời câu hỏi. VLM thì hiểu được ngữ nghĩa mở: nó trả lời câu hỏi tự nhiên về bất kỳ nội dung nào trong ảnh, mô tả bối cảnh và quan hệ giữa các vật thể, và nhận diện khái niệm mới mà không cần huấn luyện lại (zero-shot). Đổi lại, VLM chậm hơn, tốn chi phí tính toán hơn, và thường kém chính xác hơn mô hình chuyên biệt trên các tác vụ hẹp đã được huấn luyện kỹ. Trong thực tế, hai loại mô hình thường được kết hợp: CV truyền thống sàng lọc nhanh, VLM phân tích sâu các trường hợp phức tạp.
Kiến trúc của VLM gồm những thành phần nào?
Hầu hết VLM hiện đại gồm ba thành phần chính. Vision encoder biến ảnh thành các vector đặc trưng bằng cách chia ảnh thành các patch nhỏ và xử lý chúng bằng Vision Transformer — đây là “đôi mắt” của mô hình, thường khởi tạo từ CLIP. Projector chuyển đổi các vector hình ảnh sang định dạng mà LLM có thể hiểu, biến chúng thành các “token hình ảnh” đặt cạnh token văn bản. LLM là “bộ não”: nó nhận chuỗi token gồm cả ảnh và câu hỏi, dùng cơ chế attention để suy luận trên cả hai, rồi sinh câu trả lời bằng ngôn ngữ tự nhiên. Quá trình huấn luyện thường gồm hai giai đoạn: căn chỉnh projector trên dữ liệu ảnh–chú thích lớn, rồi fine-tuning theo chỉ dẫn để mô hình học cách trả lời câu hỏi về ảnh.
VLM “nhìn” ảnh như thế nào?
VLM không nhìn toàn bộ ảnh cùng lúc như mắt người mà chia ảnh thành nhiều ô vuông nhỏ gọi là patch, biến mỗi patch thành một vector, rồi dùng Vision Transformer để xử lý toàn bộ các patch — mỗi patch “nhìn” sang các patch khác qua cơ chế attention để hiểu bối cảnh xung quanh. Sau đó, projector căn chỉnh các vector hình ảnh vào cùng không gian với vector từ ngữ, để LLM có thể “đọc” token hình ảnh gần như token văn bản. Độ phân giải ảnh đầu vào ảnh hưởng trực tiếp đến khả năng nhìn chi tiết: ảnh độ phân giải cao giúp đọc chữ nhỏ và thấy vật thể nhỏ, nhưng tạo ra nhiều token hình ảnh hơn nên xử lý chậm và tốn chi phí hơn.
Grounding trong VLM là gì? GroundingPI là gì?
Grounding là khả năng xác định vị trí chính xác của một vật thể được mô tả bằng ngôn ngữ tự nhiên — ví dụ người dùng nói “chiếc xe màu đỏ ở phía bên trái”, mô hình trả về tọa độ khung bao của chiếc xe đó. Đây là năng lực nền tảng cho robot và xe tự hành, vì robot cần biết vật thể được nhắc đến là cái nào và ở đâu để tương tác với nó. GroundingPI là một mô hình perception mã nguồn mở 4 tỷ tham số của Xpeng, công bố ngày 4/11/2026, chuyên về grounding và cảm nhận thị giác; theo thông tin công bố, mô hình này được báo cáo là vượt GPT-6 Astra trên một bộ 34 benchmark. Các con số benchmark từ nhà sản xuất cần được kiểm chứng độc lập, nhưng sự xuất hiện của GroundingPI cho thấy grounding đang trở thành năng lực tiêu chuẩn của VLM.
VLM có thể thay thế OCR truyền thống không?
Chưa hoàn toàn. VLM đọc được chữ trong ảnh và hiểu được cấu trúc, ý nghĩa của tài liệu — ví dụ biết con số nào là tổng tiền, con số nào là thuế — nên nó vượt OCR truyền thống (chỉ trích xuất chuỗi ký tự) trên các tài liệu phức tạp, không theo mẫu cố định. Nhưng VLM đọc chữ nhỏ và chữ viết tay kém hơn OCR chuyên dụng, và xử lý tài liệu dài nhiều trang bằng VLM tốn chi phí hơn nhiều so với pipeline OCR. Cách làm thực tế tốt nhất hiện nay là kết hợp: OCR trích xuất văn bản hàng loạt với chi phí thấp, VLM xử lý tài liệu phức tạp hoặc kiểm chứng và sửa lỗi cho kết quả OCR.
Nên chọn VLM thương mại hay mã nguồn mở cho doanh nghiệp?
Dùng VLM thương mại qua API (như GPT-4V, Gemini, Claude) khi cần triển khai nhanh, chất lượng cao nhất và khối lượng xử lý thấp — ưu điểm là không cần hạ tầng GPU, nhược điểm là chi phí theo lượt gọi và dữ liệu phải gửi ra ngoài. Dùng VLM mã nguồn mở (như LLaVA, Qwen-VL, GroundingPI) chạy tại chỗ khi khối lượng lớn, dữ liệu nhạy cảm, hoặc cần tùy biến sâu bằng fine-tuning trên dữ liệu riêng — ưu điểm là kiểm soát dữ liệu và chi phí cố định, nhược điểm là cần đội ngũ kỹ thuật và hạ tầng GPU. Trước khi quyết định, hãy chạy thử cả hai phương án trên 100–500 ảnh thật của bạn và so sánh độ chính xác, thời gian trả lời và chi phí trên mỗi ảnh.
VLM có những hạn chế gì cần lưu ý?
Bốn hạn chế chính cần nhớ. Thứ nhất, hallucination thị giác: VLM có thể tự tin mô tả vật thể không có trong ảnh hoặc đọc sai con số, nên với quyết định quan trọng luôn cần con người xác minh. Thứ hai, đếm vật thể và quan hệ không gian còn yếu — VLM thường đếm sai khi có nhiều vật thể giống nhau và nhầm trái/phải khi khung cảnh phức tạp. Thứ ba, chữ nhỏ và tài liệu dày đặc: VLM đọc kém chữ rất nhỏ và bảng biểu phức tạp do ảnh bị nén khi xử lý. Thứ tư, chi phí và độ trễ cao: VLM cần GPU mạnh và trả lời trong vài giây, trong khi mô hình thị giác truyền thống trả lời trong vài chục mili-giây. Ngoài ra, VLM có thể kế thừa thiên lệch từ dữ liệu huấn luyện và bị đánh lừa bởi chữ viết trong ảnh (prompt injection qua ảnh).
Liên hệ AIA qua hotline 0939 936 168 để được tư vấn giải pháp AI phù hợp với dự án của bạn.
