Thuê mô hình AI mã nguồn mở qua API là cách nhanh nhất để đưa Llama, Qwen, DeepSeek hay Mistral vào sản phẩm mà không cần mua GPU, tự vận hành máy chủ suy luận hay huấn luyện mô hình. Bạn chỉ cần một API key, gửi yêu cầu qua một endpoint tương thích OpenAI, trả tiền theo số token đã dùng, và mô hình chạy trên hạ tầng của nhà cung cấp. Trong bốn nền tảng phổ biến nhất năm 2026, Together AI mạnh về danh mục hơn 200 mô hình và fine-tuning, Groq nhanh nhất nhờ chip LPU chuyên dụng, Fireworks AI mạnh về tốc độ phục vụ và giảm giá nhờ prompt caching cùng batch API, còn OpenRouter là cổng tổng hợp cho hơn 500 mô hình từ hơn 80 nhà cung cấp với một API key duy nhất và chuyển đổi dự phòng tự động.
Bài viết này giải thích bản chất của inference API cho mô hình mã nguồn mở, cơ chế hoạt động phía sau một lần gọi API, cách đọc đúng các chỉ số tốc độ và độ trễ, cách tính phí theo token, và so sánh chi tiết Together AI, Groq, Fireworks AI và OpenRouter dựa trên thông tin công khai đã kiểm chứng tới đầu tháng 11/2026. Cuối bài là hướng dẫn chọn nền tảng theo từng nhu cầu cụ thể, ví dụ tính chi phí theo tháng, đoạn code mẫu và checklist triển khai để bạn áp dụng được ngay.
Mô hình AI mã nguồn mở là gì và vì sao nên thuê qua API?
Mô hình AI mã nguồn mở, nói chính xác hơn trong phần lớn trường hợp là mô hình trọng số mở (open-weight), là mô hình mà nhà phát triển công bố công khai bộ trọng số đã huấn luyện để bất kỳ ai cũng có thể tải về, chạy thử và triển khai. Các họ mô hình tiêu biểu năm 2026 gồm Llama của Meta, Qwen của Alibaba, DeepSeek, Mistral, Gemma của Google và gpt-oss của OpenAI. Giấy phép của từng mô hình khác nhau: một số dùng giấy phép permissive như Apache 2.0 hay MIT, cho phép dùng thương mại khá tự do; một số dùng giấy phép cộng đồng riêng, ví dụ Llama Community License, với điều kiện và giới hạn riêng. Vì vậy, trước khi đưa một mô hình vào sản phẩm thương mại, bạn cần đọc giấy phép của chính mô hình đó, không nên mặc định rằng mọi mô hình công khai đều được dùng vô điều kiện.
Thuê qua API nghĩa là bạn không tự chạy mô hình. Nhà cung cấp inference đã tải trọng số, tối ưu, đặt mô hình lên GPU hoặc chip chuyên dụng, mở một endpoint HTTP và tính phí theo lượng sử dụng. Bạn gửi prompt, nhận lại văn bản sinh ra, và không phải lo các việc như chọn GPU, cài driver, tối ưu bộ nhớ, cân bằng tải, mở rộng khi lưu lượng tăng đột biến hay vá lỗi bảo mật cho máy chủ suy luận. Đây là mô hình AI-as-a-Service: trí tuệ nhân tạo được tiêu thụ như một dịch vụ tiện ích, tương tự cách bạn dùng dịch vụ lưu trữ đám mây thay vì tự xây trung tâm dữ liệu.
Lợi ích lớn nhất của cách làm này là tốc độ ra thị trường. Một nhóm nhỏ có thể tích hợp chatbot, tính năng tóm tắt, phân loại, trích xuất dữ liệu hay gợi ý nội dung chỉ trong vài ngày, thử nhiều mô hình khác nhau bằng cách đổi một chuỗi tên mô hình trong code, và chỉ trả tiền cho lượng token thực tế đã dùng. Lợi ích thứ hai là chi phí biên thấp ở giai đoạn đầu: không có chi phí mua GPU, không có chi phí duy trì máy chủ chạy 24/7 khi chưa có người dùng. Lợi ích thứ ba là tính linh hoạt: khi một mô hình mới tốt hơn ra mắt, bạn có thể chuyển sang mô hình đó mà không phải huấn luyện lại hay thay đổi hạ tầng.
Tuy vậy, thuê qua API không phải lúc nào cũng rẻ hơn tự vận hành. Khi lưu lượng rất lớn và ổn định, chi phí token cộng dồn có thể vượt chi phí thuê GPU cố định. Khi dữ liệu cực kỳ nhạy cảm, bạn cần đọc kỹ chính sách lưu trữ dữ liệu của nhà cung cấp, vì một số nền tảng lưu prompt và phản hồi trừ khi bạn bật chế độ không lưu trữ. Khi cần độ trễ cực thấp trong mạng nội bộ hoặc cần tùy biến sâu ở tầng suy luận, tự vận hành vẫn có chỗ đứng. Bài viết này giúp bạn phân biệt rõ bốn nền tảng thuê ngoài phổ biến, để chọn đúng cho từng giai đoạn thay vì chọn theo cảm tính.
Inference API hoạt động như thế nào phía sau một lần gọi?
Khi ứng dụng của bạn gọi một inference API, yêu cầu đi qua nhiều bước. Đầu tiên, văn bản prompt được tách thành token — các đơn vị nhỏ hơn từ, thường là một phần của từ hoặc một ký tự đặc biệt. Số token quyết định phần lớn chi phí, vì các nhà cung cấp tính phí theo triệu token. Một câu tiếng Việt dài khoảng 100 từ thường tương đương vài trăm token, tùy bộ mã hóa của từng mô hình. Bạn nên đo token bằng đúng bộ mã hóa của mô hình đang dùng thay vì ước lượng bằng số từ.
Tiếp theo là giai đoạn prefill: mô hình xử lý toàn bộ prompt một lần để hiểu ngữ cảnh và tạo ra bộ nhớ đệm gọi là KV cache — nơi lưu trữ các khóa và giá trị attention của các token đã xử lý, để các bước sau không phải tính lại từ đầu. Sau đó là giai đoạn decode: mô hình sinh từng token đầu ra, mỗi token mới lại tham chiếu KV cache để tính token tiếp theo. Hai giai đoạn này có đặc tính khác nhau: prefill nặng về tính toán song song, decode nặng về băng thông bộ nhớ vì mỗi bước chỉ sinh một token nhưng phải đọc toàn bộ trọng số và KV cache. Đây là lý do các nhà cung cấp tối ưu hai giai đoạn bằng những kỹ thuật khác nhau, và cũng là lý do tốc độ sinh token đầu ra thường là chỉ số được quan tâm nhất trong ứng dụng tương tác.
Để tăng hiệu quả, các hệ thống suy luận hiện đại dùng nhiều kỹ thuật. Continuous batching gộp nhiều yêu cầu đang chờ thành một lô xử lý chung, tận dụng GPU tốt hơn so với xử lý từng yêu cầu riêng lẻ. PagedAttention, kỹ thuật nổi tiếng từ hệ thống vLLM mã nguồn mở, quản lý KV cache theo từng khối bộ nhớ thay vì cấp phát một vùng liên tục lớn, giúp phục vụ nhiều yêu cầu đồng thời mà ít lãng phí bộ nhớ. Quantization, ví dụ nén trọng số từ 16-bit xuống 8-bit (FP8) hoặc 4-bit, giảm dung lượng bộ nhớ và tăng tốc độ đọc trọng số, đổi lại có thể mất một chút độ chính xác. Speculative decoding dùng một mô hình nhỏ dự đoán trước nhiều token, rồi mô hình lớn kiểm chứng hàng loạt, giúp tăng tốc trong nhiều trường hợp. Prefix caching lưu lại KV cache của phần prompt lặp lại, ví dụ system prompt hay tài liệu RAG giống nhau, để lần gọi sau không phải tính lại.
Bạn không cần tự triển khai các kỹ thuật này khi thuê API, nhưng hiểu chúng giúp bạn đọc đúng bảng giá và bảng tốc độ của nhà cung cấp. Một nền tảng quảng cáo tốc độ cao có thể đang dùng mô hình đã lượng tử hóa FP8, một nền tảng khác có thể chạy mô hình đầy đủ độ chính xác nhưng chậm hơn. Một nền tảng giảm giá mạnh cho cached input có thể rất rẻ cho ứng dụng RAG với system prompt dài lặp lại, nhưng không rẻ hơn bao nhiêu cho chatbot với prompt ngắn và luôn thay đổi. Vì vậy, đừng so sánh chỉ một con số; hãy so sánh cùng một mô hình, cùng một độ dài prompt, cùng một chế độ phục vụ.
Ba chỉ số tốc độ bạn phải đọc đúng: TTFT, TPOT và throughput
Có ba chỉ số thường bị nhầm lẫn. TTFT (Time To First Token) là thời gian từ lúc gửi yêu cầu đến khi nhận token đầu tiên. Chỉ số này quyết định cảm giác phản hồi nhanh hay chậm của chatbot, vì người dùng thấy chữ bắt đầu hiện ra sau bao lâu. TPOT (Time Per Output Token) là thời gian trung bình để sinh mỗi token đầu ra sau token đầu tiên; nghịch đảo của nó là tốc độ token/giây mà các nhà cung cấp thường quảng cáo. Throughput là tổng số token mà hệ thống xử lý được trong một đơn vị thời gian, thường đo trên nhiều yêu cầu đồng thời, và phản ánh hiệu quả sử dụng hạ tầng hơn là trải nghiệm của một người dùng đơn lẻ.
Một nền tảng có thể đạt 1.000 token/giây cho một mô hình nhỏ nhưng chỉ đạt 200 token/giây cho mô hình lớn 70B, vì mô hình lớn cần đọc nhiều trọng số hơn trong mỗi bước decode. Một nền tảng khác có thể có TTFT thấp nhờ hạ tầng đặt gần người dùng hoặc nhờ prefix caching, nhưng TPOT không nổi bật. Khi đánh giá, hãy hỏi: tốc độ này đo trên mô hình nào, prompt dài bao nhiêu, đầu ra dài bao nhiêu, đo trên một yêu cầu đơn lẻ hay nhiều yêu cầu đồng thời, và có phải số liệu của nhà cung cấp hay của bên thứ ba độc lập như Artificial Analysis hay không. Trong bài này, các con số tốc độ đều ghi rõ nguồn để bạn đối chiếu.
Độ trễ mạng cũng là một phần của trải nghiệm. Nếu máy chủ của bạn đặt ở Việt Nam và endpoint của nhà cung cấp đặt ở Mỹ, thời gian khứ hồi mạng có thể cộng thêm hàng chục đến hàng trăm mili giây cho mỗi yêu cầu. Với ứng dụng streaming, độ trễ này ít ảnh hưởng đến tổng thời gian sinh văn bản dài, nhưng lại ảnh hưởng rõ đến cảm giác chờ token đầu tiên. Một số nền tảng cung cấp vùng phục vụ riêng hoặc chế độ Priority để giảm thời gian chờ hàng đợi khi hệ thống đông. Nếu ứng dụng của bạn yêu cầu độ trễ thấp ổn định, hãy đo TTFT thực tế từ chính vị trí máy chủ của bạn, vào giờ cao điểm, thay vì chỉ tin con số trên trang quảng cáo.
Cách tính phí: token, cache, batch và dedicated
Hầu hết các inference API tính phí theo token, tách riêng token đầu vào (input) và token đầu ra (output). Token đầu ra thường đắt hơn token đầu vào nhiều lần, vì sinh token tốn tài nguyên hơn xử lý prompt, và vì đầu ra dài thường là phần tốn kém nhất của một tác vụ viết lách hay suy luận. Ví dụ, một mô hình có giá 0,15 USD cho một triệu token đầu vào và 0,60 USD cho một triệu token đầu ra thì một yêu cầu gồm 2.000 token đầu vào và 500 token đầu ra tốn khoảng 0,0006 USD — một con số nhỏ cho một lần gọi, nhưng sẽ thành hàng trăm USD mỗi tháng khi nhân với hàng triệu lượt gọi.
Prompt caching là khoản giảm giá quan trọng nhất mà nhiều người bỏ qua. Khi phần đầu của prompt lặp lại giữa các lần gọi, nhà cung cấp có thể tính phí cached input chỉ bằng một phần nhỏ của giá input thông thường, thường khoảng 10–20%, thậm chí thấp hơn nhiều ở một số mô hình. Theo tài liệu giá của Fireworks AI cập nhật ngày 04/11/2026, cached input của nhiều mô hình flagship chỉ bằng khoảng 10% giá input chuẩn, ví dụ DeepSeek V4 Pro có giá input 1,74 USD nhưng cached input chỉ 0,145 USD cho một triệu token. Điều này làm cho các ứng dụng có system prompt dài, tài liệu RAG cố định hay lịch sử hội thoại dài trở nên rẻ hơn rất nhiều nếu bạn thiết kế prompt để phần lặp lại nằm ở đầu.
Batch API là hình thức thứ hai để tiết kiệm: bạn gửi yêu cầu không cần trả lời ngay, nhà cung cấp xử lý khi hạ tầng rảnh và giảm giá khoảng 50% cho cả input lẫn output. Cả Together AI và Fireworks AI đều công bố mức giảm 50% cho batch inference. Hình thức này phù hợp cho các tác vụ xử lý hàng loạt như phân loại hàng nghìn tài liệu, tạo mô tả sản phẩm, dịch nội dung hay chấm điểm dữ liệu, nơi bạn có thể chờ vài phút đến vài giờ thay vì cần phản hồi trong vài giây.
Dedicated endpoint là hình thức thứ ba: bạn thuê riêng một hoặc nhiều GPU để chạy một mô hình cố định, trả tiền theo giờ thay vì theo token. Hình thức này phù hợp khi lưu lượng cao và ổn định, khi bạn cần đảm bảo không bị chia sẻ tài nguyên với người khác, hoặc khi cần một mô hình fine-tune riêng không có trên serverless. Giá tham khảo đầu tháng 11/2026 là khoảng 5,49 USD/giờ cho H100 trên Together AI và 8,00 USD/giờ cho H100 trên Fireworks AI theo các nguồn so sánh độc lập, nhưng bạn cần kiểm tra bảng giá chính thức tại thời điểm triển khai vì giá GPU thay đổi theo thị trường. Quy tắc thực nghiệm thường được trích dẫn là serverless rẻ hơn khi dưới khoảng 50–60 triệu token mỗi ngày cho mô hình 70B, và dedicated bắt đầu có lợi khi vượt ngưỡng đó — nhưng ngưỡng chính xác phụ thuộc vào giá token và giá GPU tại thời điểm bạn tính.
Together AI: danh mục rộng nhất và mạnh về fine-tuning
Together AI là nền tảng inference được xây dựng chuyên cho việc chạy, fine-tune và triển khai mô hình AI ở quy mô lớn. Công ty được thành lập năm 2022 và định vị mình là một nền tảng trung lập, không tự xây mô hình frontier độc quyền mà tập trung phục vụ các mô hình mở. Theo các bài đánh giá cập nhật tháng 9–10/2026, Together AI phục vụ hơn 200 mô hình qua một API duy nhất, bao gồm Llama, DeepSeek, Qwen, Mistral, Kimi, Gemma và nhiều họ mô hình khác, trải rộng từ chat, thị giác, âm thanh, hình ảnh đến video, embedding và kiểm duyệt nội dung.
Điểm mạnh đầu tiên của Together AI là độ rộng danh mục. Khi bạn cần thử nhiều mô hình cho cùng một tác vụ — ví dụ so sánh Llama 4 Maverick, Qwen3 và DeepSeek cho bài toán tóm tắt tài liệu tiếng Việt — bạn chỉ cần đổi tên mô hình trong cùng một endpoint tương thích OpenAI, không cần đăng ký thêm tài khoản hay học thêm SDK mới. Nền tảng còn cung cấp nhiều biến thể tối ưu cho cùng một mô hình, như bản Reference, Turbo, Lite hay Fast, trong đó một số bản dùng FP8 để tăng tốc, đánh đổi một chút chất lượng. Bạn nên đọc mô tả của từng biến thể trước khi chọn, vì cùng tên mô hình nhưng khác biến thể có thể cho tốc độ và chất lượng khác nhau.
Điểm mạnh thứ hai là fine-tuning. Together AI hỗ trợ LoRA và full fine-tuning cho Llama, Mistral, Qwen, DeepSeek và các mô hình mở khác, tính phí theo triệu token huấn luyện. Theo nguồn CloudZero cập nhật tháng 9/2026, LoRA SFT cho mô hình khoảng 16B tốn khoảng 0,48 USD cho một triệu token, và tăng dần theo kích thước mô hình, lên khoảng 2,90 USD cho mô hình 70B–100B; DPO có giá gấp khoảng 2–3 lần LoRA SFT tương ứng. Sau khi fine-tune, bạn có thể triển khai mô hình đã tùy chỉnh lên serverless hoặc dedicated endpoint. Đây là lợi thế lớn cho doanh nghiệp Việt Nam muốn mô hình hiểu tốt hơn về lĩnh vực riêng, ví dụ thuật ngữ khách sạn, quy trình đặt phòng hay giọng văn chăm sóc khách hàng, mà không muốn tự xây hạ tầng huấn luyện.
Về giá serverless, Together AI tính phí theo token và giá thay đổi mạnh theo mô hình. Theo bài tổng hợp của CloudZero cập nhật tháng 9/2026, giá serverless dao động khoảng 0,05–7,00 USD cho một triệu token tùy mô hình, trong đó các mô hình thường dùng nằm trong khoảng 0,27–3,00 USD. Một ví dụ cụ thể được trích dẫn là Llama 4 Maverick có giá 0,27 USD đầu vào và 0,85 USD đầu ra cho một triệu token. Tuy nhiên, giá của từng mô hình có thể khác xa nhau giữa các nhà cung cấp: một bài đo thực tế ngày 19/10/2026 ghi nhận Together AI tính Llama 3.3 70B ở mức 1,04 USD cho cả input và output, cao gấp khoảng 10 lần so với nhà cung cấp rẻ nhất cho cùng mô hình. Ngược lại, với nhiều mô hình mới, Together AI tính đúng giá niêm yết của chính hãng sản xuất mô hình, ví dụ DeepSeek V4.1 Flash ở mức 0,30 USD input và 1,20 USD output. Bài học ở đây là không nên kết luận Together AI đắt hay rẻ nói chung; hãy tra giá của đúng mô hình bạn sẽ dùng, trên đúng nền tảng bạn sẽ dùng, tại thời điểm bạn triển khai.
Một điểm cần lưu ý là chính sách dùng thử của Together AI đã thay đổi trong năm 2026. Nhiều nguồn cho biết đầu năm tài khoản mới có thể nhận credit miễn phí khoảng 5–25 USD, nhưng về cuối năm nền tảng yêu cầu nạp tối thiểu 5 USD để kích hoạt API, và một số nguồn ghi nhận mức nạp tối thiểu đầu tiên là 15 USD. Bạn nên kiểm tra trang giá và trang thanh toán chính thức trước khi lập kế hoạch thử nghiệm, và đừng dựa vào các bài viết cũ về credit miễn phí. Ngoài ra, Together AI lưu prompt và phản hồi trừ khi quản trị viên bật chế độ không lưu trữ dữ liệu (zero data retention), và không dùng dữ liệu của bạn để huấn luyện nếu không có sự đồng ý — bạn nên xác nhận cài đặt này trong bảng điều khiển trước khi gửi dữ liệu khách hàng thật.
Together AI phù hợp nhất khi bạn cần một danh mục mô hình rộng để thử nghiệm và so sánh, khi bạn có kế hoạch fine-tune mô hình mở cho dữ liệu riêng, hoặc khi bạn muốn một nhà cung cấp duy nhất phục vụ cả chat, thị giác, âm thanh và embedding. Nền tảng này ít phù hợp nhất khi bạn chỉ cần tốc độ cao nhất cho một mô hình nhỏ, hoặc khi mô hình bạn chọn có giá cao hơn hẳn so với cùng mô hình ở nền tảng khác — trong trường hợp đó, hãy đo tốc độ thực tế và so sánh hóa đơn trên cùng một khối lượng công việc trước khi quyết định.
Groq: nhanh nhất nhờ chip LPU chuyên dụng cho suy luận
Groq là công ty phần cứng và hạ tầng suy luận, khác biệt với ba nền tảng còn lại ở chỗ nó tự thiết kế chip của mình. Chip đó có tên LPU (Language Processing Unit), được thiết kế chỉ cho một việc duy nhất: chạy bước forward của mô hình Transformer càng nhanh và càng xác định càng tốt. Trong khi GPU là chip đa năng, có thể làm cả huấn luyện, suy luận, đồ họa và tính toán khoa học, LPU bỏ đi tính linh hoạt đó để đổi lấy tốc độ suy luận. GroqCloud là dịch vụ thương mại chạy trên chip LPU, cho phép bạn gọi các mô hình mở của người khác qua API mà không cần mua chip.
Tốc độ là lý do chính để chọn Groq. Theo trang mô hình của GroqCloud được trích dẫn cuối tháng 10/2026, gpt-oss-20b đạt khoảng 1.000 token/giây và gpt-oss-120b đạt khoảng 500 token/giây theo số liệu của nhà cung cấp. Bên thứ ba Artificial Analysis, với khối lượng công việc đầu vào 10.000 token, đo được tốc độ trung bình khoảng 470 token/giây cho gpt-oss-120b trên Groq, với thời gian tới chunk đầu tiên khoảng 0,66 giây — gần với con số nhà cung cấp công bố. Để so sánh, một endpoint dựa trên GPU thông thường thường đạt khoảng 40–80 token/giây cho cùng loại mô hình, theo các bài tổng hợp năm 2026. Tốc độ này đặc biệt có giá trị cho các ứng dụng tương tác thời gian thực như chatbot, gợi ý gõ phím, phiên dịch trực tiếp hay trợ lý giọng nói, nơi người dùng cảm nhận rõ từng mili giây chờ đợi.
Tuy nhiên, danh mục mô hình trả phí công khai của Groq đã thu hẹp đáng kể trong năm 2026. Theo bài phân tích ngày 27/10/2026 dựa trên bảng giá công khai của Groq, chỉ còn hai mô hình văn bản có giá niêm yết là gpt-oss-120b ở mức 0,15 USD đầu vào và 0,60 USD đầu ra cho một triệu token, và gpt-oss-20b ở mức 0,075 USD đầu vào và 0,30 USD đầu ra. Các mô hình Llama 3.1 8B, Llama 3.3 70B, Muse Spark Open và MiniMax đã chuyển sang hạng Enterprise, không còn giá token công khai và cần liên hệ bán hàng. Một số mô hình như Llama 4 Maverick và Scout vẫn xuất hiện ở dạng preview hoặc qua các kênh khác, nhưng bạn cần kiểm tra trang mô hình chính thức của Groq tại thời điểm đọc bài này, vì danh mục thay đổi nhanh.
Về giá, Groq không còn là lựa chọn rẻ nhất cho mọi mô hình. Với gpt-oss-120b, Groq tính 0,15 USD đầu vào và 0,60 USD đầu ra, rẻ hơn Cerebras cho cùng mô hình theo bài đo cuối tháng 10/2026 (Cerebras tính 0,35 USD đầu vào và 0,75 USD đầu ra), nhưng tốc độ đo được của Cerebras cao hơn nhiều, khoảng 1.693 token/giây so với 473 token/giây của Groq trên cùng mô hình. Điều này cho thấy tốc độ và giá phải được cân nhắc cùng nhau: Groq rẻ hơn trên mỗi token, nhưng nếu ứng dụng của bạn cần tốc độ tối đa và sẵn sàng trả thêm, đối thủ có thể phù hợp hơn. Ngoài ra, Groq từng gây chú ý khi cấp phép công nghệ suy luận cho NVIDIA vào tháng 12/2025 và huy động thêm vốn trong năm 2026, cho thấy công ty đang chuyển hướng từ chỉ bán chip sang vận hành hạ tầng suy luận quy mô lớn.
Groq phù hợp nhất khi ứng dụng của bạn cần phản hồi gần như tức thì cho một mô hình nhỏ hoặc vừa, ví dụ chatbot hỗ trợ khách hàng, trợ lý viết code gợi ý theo từng phím gõ, hay hệ thống phân loại thời gian thực. Nền tảng này ít phù hợp khi bạn cần danh mục mô hình rộng, cần fine-tune mô hình mở, hoặc cần một mô hình cụ thể đã chuyển sang hạng Enterprise mà bạn không muốn đàm phán hợp đồng. Trước khi cam kết, hãy kiểm tra giới hạn tốc độ (rate limit) của hạng Developer cho đúng mô hình bạn dùng, vì giới hạn này thay đổi theo mô hình và có thể khác nhau giữa trang mô hình và trang giới hạn của Groq.
Fireworks AI: tốc độ phục vụ và tối ưu chi phí cho sản phẩm thật
Fireworks AI là nền tảng inference và training cloud được xây dựng cho các mô hình trọng số mở. Thay vì khóa bạn vào một mô hình độc quyền, Fireworks AI cho phép bạn phục vụ, fine-tune và mở rộng các mô hình mở như DeepSeek, Llama, Qwen, Mistral qua một API duy nhất tính phí theo mức sử dụng. Nền tảng bao gồm ba hình thức chính: serverless inference tính phí theo token, dedicated deployment tính phí theo giờ GPU cho lưu lượng ổn định, và reserved capacity cho khối lượng công việc lớn. Ngoài văn bản, Fireworks AI còn phục vụ mô hình hình ảnh như FLUX.1, mô hình âm thanh như Whisper V3, và hỗ trợ cả API tương thích OpenAI lẫn API tương thích Anthropic để việc di chuyển code hiện có trở nên đơn giản.
Cách tính giá serverless của Fireworks AI có hai lớp. Với các mô hình không có giá riêng, nền tảng tính theo bậc kích thước tham số: dưới 4B khoảng 0,10 USD cho một triệu token, 4B–16B khoảng 0,20 USD, trên 16B (dense) khoảng 0,90 USD, MoE tới 56B tổng tham số khoảng 0,50 USD và MoE 56,1B–176B khoảng 1,20 USD, theo tài liệu giá được trích dẫn giữa năm 2026. Với các mô hình flagship, Fireworks AI niêm yết giá riêng cho từng mô hình, tách input, cached input và output. Theo tài liệu giá cập nhật ngày 04/11/2026, DeepSeek V4 Pro có giá 1,74 USD input, 0,145 USD cached input và 3,48 USD output; DeepSeek V4 Flash có giá 0,14 USD input, 0,028 USD cached input và 0,28 USD output; Kimi K2.6 có giá 0,95 USD input, 0,16 USD cached input và 4,00 USD output; GLM 5.2 có giá 1,40 USD input, 0,14 USD cached input và 4,40 USD output; Qwen 3.7 Plus có giá 0,40 USD input, 0,08 USD cached input và 1,60 USD output — tất cả tính cho một triệu token ở hạng Standard.
Điểm đáng chú ý là giá của Fireworks AI và Together AI đã hội tụ gần như giống hệt nhau cho nhiều mô hình dùng chung. Một bài so sánh đọc giá ngày 29/10/2026 ghi nhận Kimi K3 có giá 3,00 USD input, 0,30 USD cached input và 15,00 USD output trên cả hai nền tảng; GLM 5.3 có giá 1,40 USD, 0,26 USD và 4,40 USD trên cả hai; DeepSeek V4.1 Flash có giá 0,30 USD, 0,006 USD và 1,20 USD trên cả hai. Sự hội tụ này có nghĩa là bạn không nên chọn giữa Fireworks AI và Together AI chỉ dựa trên giá niêm yết của một mô hình; hãy chọn dựa trên tốc độ thực tế, độ tin cậy, danh mục mô hình độc quyền, và các tính năng như batch, caching hay fine-tuning. Một khác biệt nhỏ nhưng có thể quan trọng: với gpt-oss-120b, cả hai cùng tính 0,15 USD input và 0,60 USD output, nhưng Fireworks AI tính cached input 0,015 USD trong khi Together AI không niêm yết giá cached cho mô hình này, khiến token lặp lại rẻ hơn khoảng 10 lần trên Fireworks AI theo bài so sánh đó.
Fireworks AI có bốn chế độ serverless: Standard, Priority, Fast và Ultra-fast (bản preview). Chế độ Priority có giá cao hơn Standard, ví dụ DeepSeek V4 Pro Priority có giá 2,61 USD input, 0,218 USD cached input và 5,22 USD output, so với 1,74 USD, 0,145 USD và 3,48 USD ở Standard. Chế độ Fast và Ultra-fast dành cho các mô hình cần tốc độ cao hơn nữa, với giá cao hơn tương ứng. Ngoài ra, Fireworks AI giảm 50% cho batch inference trên cả input và output, và giảm tới 80–92% cho cached input trên nhiều mô hình. Một yêu cầu từ Mỹ có thể tốn gấp 1,5 lần giá niêm yết trên Fireworks AI, theo bài so sánh tháng 10/2026, vì vậy bạn cần kiểm tra điều khoản vùng phục vụ nếu hạ tầng của bạn yêu cầu dữ liệu chỉ xử lý tại Mỹ.
Về fine-tuning, Fireworks AI hỗ trợ LoRA, full-parameter, SFT và DPO, với giá khởi điểm khoảng 0,50 USD cho một triệu token huấn luyện với mô hình tới 16B, và từ 3,00 USD cho mô hình 16,1B–80B, theo bài đánh giá được xác minh tháng 10/2026. Mô hình đã fine-tune có thể triển khai lên serverless hoặc dedicated. Về dedicated deployment, Fireworks AI tính khoảng 8,00 USD/giờ cho H100 80GB và H200 141GB, 13,00 USD/giờ cho B200, và 15,00 USD/giờ cho B300, theo cùng nguồn. Fireworks AI tặng 1 USD credit khởi đầu, sau đó yêu cầu phương thức thanh toán. Nền tảng này phù hợp nhất khi bạn cần một API serverless nhanh và ổn định cho sản phẩm thật, khi bạn muốn tận dụng prompt caching và batch để giảm chi phí, hoặc khi bạn cần cả text, vision, image và audio trên cùng một nhà cung cấp.
OpenRouter: một API key cho hơn 500 mô hình từ hơn 80 nhà cung cấp
OpenRouter khác với ba nền tảng trên ở một điểm căn bản: nó không tự chạy mô hình mà là một cổng tổng hợp (unified gateway) đặt giữa ứng dụng của bạn và các nhà cung cấp mô hình. Bạn dùng một API key và một endpoint duy nhất tại địa chỉ https://openrouter.ai/api/v1, chọn mô hình theo ID dạng nhà cung cấp/tên mô hình, ví dụ anthropic/claude-sonnet-5.5 hay deepseek/deepseek-v4.1-flash, và OpenRouter định tuyến yêu cầu tới nhà cung cấp phù hợp. Theo các bài tổng hợp cập nhật đầu tháng 11/2026, OpenRouter cung cấp hơn 500 mô hình từ hơn 80 nhà cung cấp, bao gồm OpenAI, Anthropic, Google, Meta, Mistral, DeepSeek, xAI và nhiều nhà cung cấp nhỏ hơn, trải rộng cả văn bản, hình ảnh, video và âm thanh.
Giá của OpenRouter có cấu trúc riêng mà bạn cần hiểu rõ. OpenRouter không cộng thêm phí trên giá token của nhà cung cấp: mỗi mô hình được niêm yết đúng giá của nhà cung cấp, và bạn trả đúng giá đó cho mỗi token. Phí của OpenRouter nằm ở bước mua credit: gói Standard tính phí 5,5% khi mua credit bằng thẻ, tối thiểu 0,80 USD; mua bằng tiền mã hóa tính phí 5%; gói Business tính phí 8% và bổ sung định tuyến trong khu vực EU và Mỹ, cùng các tính năng doanh nghiệp. Ví dụ, nạp 100 USD credit bằng thẻ tốn 105,50 USD; mọi token bạn mua bằng credit đó đều tính theo giá gốc của nhà cung cấp. Đây là một cải tiến quan trọng so với mô hình cũ của OpenRouter, khi nền tảng từng cộng phí trên từng token; mô hình phí hiện tại minh bạch hơn và dễ dự toán hơn.
OpenRouter còn có chế độ BYOK (Bring Your Own Key): bạn dùng chính API key của nhà cung cấp gốc và để OpenRouter định tuyến qua key đó. Theo bài phân tích cập nhật ngày 02/11/2026, BYOK miễn phí tới 25.000 USD giá trị suy luận theo giá niêm yết mỗi tháng, sau đó tính phí 5%. Một số nguồn cũ hơn ghi ngưỡng miễn phí theo số lượng yêu cầu, nhưng bạn nên kiểm tra trang giá và FAQ chính thức của OpenRouter tại thời điểm triển khai vì điều khoản BYOK đã thay đổi theo thời gian. Ngoài ra, OpenRouter cung cấp các mô hình miễn phí có ID kết thúc bằng :free, với giới hạn khoảng 50 yêu cầu mỗi ngày khi chưa nạp credit, và 1.000 yêu cầu mỗi ngày sau khi bạn có ít nhất 10 credit, cùng giới hạn 20 yêu cầu mỗi phút theo nhiều nguồn tổng hợp năm 2026. Danh sách mô hình miễn phí thay đổi theo chính sách của nhà cung cấp, nên hãy coi đây là tài nguyên để thử nghiệm, không phải một tầng miễn phí đảm bảo cho sản phẩm thật.
Tính năng quan trọng nhất của OpenRouter là automatic failover: bạn truyền một mảng models gồm mô hình chính và các mô hình dự phòng, và khi mô hình chính lỗi hoặc bị giới hạn tốc độ, OpenRouter tự chuyển sang mô hình tiếp theo. Bạn chỉ bị tính phí theo mô hình thực sự đã trả lời, nhưng cần lưu ý rằng một mô hình dự phòng trả phí sau một mô hình miễn phí sẽ bị tính phí theo giá của mô hình trả phí đó. OpenRouter cũng cung cấp tính năng provider routing, cho phép bạn chọn nhà cung cấp cụ thể cho một mô hình, hoặc để OpenRouter tự chọn nhà cung cấp nhanh nhất hay rẻ nhất. Điều này rất hữu ích khi cùng một mô hình được phục vụ bởi nhiều nhà cung cấp với tốc độ và giá khác nhau.
OpenRouter phù hợp nhất khi bạn cần thử nhiều mô hình từ nhiều hãng khác nhau mà không muốn đăng ký từng tài khoản riêng, khi bạn cần chuyển đổi dự phòng tự động để tăng độ tin cậy, hoặc khi bạn xây dựng một ứng dụng cho phép người dùng tự chọn mô hình. Nền tảng này ít phù hợp nhất khi bạn chỉ dùng một mô hình duy nhất với khối lượng rất lớn — lúc đó phí 5,5% khi mua credit cộng dồn thành một khoản đáng kể, và hợp đồng trực tiếp với nhà cung cấp gốc có thể rẻ hơn. OpenRouter cũng cộng thêm độ trễ khoảng 10–80 mili giây cho mỗi bước định tuyến theo một số bài đánh giá, vì vậy với ứng dụng yêu cầu độ trễ cực thấp, bạn nên đo thực tế và cân nhắc gọi trực tiếp nhà cung cấp gốc cho mô hình chính, chỉ dùng OpenRouter cho mô hình dự phòng.
So sánh trực tiếp bốn nền tảng trên cùng một thước đo
Bảng dưới đây tóm tắt bốn nền tảng theo các tiêu chí mà nhà phát triển quan tâm nhất. Các con số giá được ghi theo nguồn đã kiểm chứng tới đầu tháng 11/2026 và có thể thay đổi; bạn luôn nên tra lại bảng giá chính thức trước khi chốt ngân sách. Mục đích của bảng là giúp bạn thấy rõ mỗi nền tảng mạnh ở đâu, yếu ở đâu, thay vì xếp hạng tuyệt đối.
| Tiêu chí | Together AI | Groq | Fireworks AI | OpenRouter |
|---|---|---|---|---|
| Bản chất | Nền tảng inference cho mô hình mở, tự vận hành GPU | Hạ tầng inference trên chip LPU tự thiết kế | Nền tảng inference và training cho mô hình mở | Cổng tổng hợp, định tuyến tới hơn 80 nhà cung cấp |
| Số mô hình | Hơn 200 mô hình | Danh mục trả phí công khai thu hẹp, tập trung vào gpt-oss | Hàng trăm mô hình, nhiều flagship có giá riêng | Hơn 500 mô hình từ hơn 80 nhà cung cấp |
| Mô hình tiêu biểu | Llama, Qwen, DeepSeek, Mistral, Kimi, Gemma | gpt-oss-20b, gpt-oss-120b; Llama chuyển sang Enterprise | DeepSeek, Kimi, GLM, Qwen, gpt-oss, FLUX.1 | GPT, Claude, Gemini, Llama, DeepSeek, Qwen, Mistral |
| Tốc độ nổi bật | Nhanh cho nhiều mô hình, theo đo thực tế tháng 10/2026 là nhanh nhất trong một bài test 6 mô hình | gpt-oss-20b khoảng 1.000 token/giây, gpt-oss-120b khoảng 500 token/giây theo nhà cung cấp | Có chế độ Fast và Ultra-fast cho mô hình cần tốc độ cao | Phụ thuộc nhà cung cấp gốc, cộng thêm 10–80 ms định tuyến |
| Cách tính phí chính | Theo token, theo mô hình; batch giảm 50% cho một số mô hình | Theo token, không có phí tối thiểu hàng tháng ở hạng Developer | Theo token theo bậc kích thước hoặc giá riêng từng mô hình; batch giảm 50% | Giá token của nhà cung cấp gốc, cộng phí 5,5% khi mua credit |
| Prompt caching | Có cho một số mô hình, giá cached thay đổi theo mô hình | Có cached input cho gpt-oss, ví dụ 0,0375 USD cho gpt-oss-20b | Mạnh, cached input thường bằng khoảng 10% giá input chuẩn | Phụ thuộc nhà cung cấp gốc và mô hình |
| Fine-tuning | Mạnh, LoRA và full fine-tuning, từ khoảng 0,48 USD/triệu token | Không phải thế mạnh chính | LoRA, full-parameter, SFT, DPO từ khoảng 0,50 USD/triệu token | Không cung cấp fine-tuning, chỉ định tuyến |
| Dedicated/GPU riêng | Có, H100 khoảng 5,49 USD/giờ theo nguồn so sánh | Có hạng Enterprise, cần liên hệ bán hàng | Có, H100 khoảng 8,00 USD/giờ, B200 khoảng 13,00 USD/giờ | Không cung cấp GPU riêng, chỉ định tuyến |
| API tương thích | Tương thích OpenAI | Tương thích OpenAI tại api.groq.com/openai/v1 | Tương thích OpenAI và Anthropic | Tương thích OpenAI tại openrouter.ai/api/v1 |
| Điểm mạnh nhất | Danh mục rộng, fine-tuning, một bill cho nhiều loại mô hình | Tốc độ suy luận cao nhất cho mô hình nhỏ và vừa | Tốc độ, caching, batch, đa dạng text/vision/image/audio | Một key cho mọi hãng, failover tự động, thử nghiệm nhanh |
| Điểm yếu nhất | Giá một số mô hình cao hơn hẳn nhà cung cấp khác | Danh mục thu hẹp, nhiều mô hình chuyển sang Enterprise | Giá dedicated cao hơn Together AI, phí vùng Mỹ cao hơn | Phí credit 5,5%, thêm độ trễ định tuyến, không fine-tune |
So sánh giá trên cùng một mô hình: đừng tin giá chung, hãy tra giá đúng mô hình
Một sai lầm phổ biến là so sánh giá trung bình của các nền tảng thay vì giá của đúng mô hình mình sẽ dùng. Bảng dưới đây lấy một số mô hình có giá đã kiểm chứng để minh họa mức độ chênh lệch. Tất cả giá tính theo USD cho một triệu token, ở hạng Standard hoặc hạng công khai tương đương, theo nguồn đã trích dẫn tới cuối tháng 10 và đầu tháng 11/2026.
| Mô hình | Together AI (input/output) | Groq (input/output) | Fireworks AI (input/cached/output) | OpenRouter (giá gốc, chưa cộng phí credit) |
|---|---|---|---|---|
| gpt-oss-120b | Không phải giá nổi bật trong nguồn đã tra | 0,15 / 0,60 | 0,15 / 0,015 / 0,60 | 0,15 / 0,60 theo giá gốc của nhà cung cấp |
| gpt-oss-20b | Không phải giá nổi bật trong nguồn đã tra | 0,075 / 0,30 | Chưa tra giá riêng trong bài này | 0,075 / 0,30 theo giá gốc của nhà cung cấp |
| Llama 3.3 70B | 1,04 / 1,04 | Enterprise, không có giá công khai | Tính theo bậc 16B+ hoặc giá riêng tùy thời điểm | Tùy nhà cung cấp phục vụ, tra theo ID mô hình |
| Llama 4 Maverick | 0,27 / 0,85 | Preview, giá thay đổi theo hạng | Chưa tra giá riêng trong bài này | Tùy nhà cung cấp phục vụ, tra theo ID mô hình |
| DeepSeek V4.1 Flash | 0,30 / 1,20, cached 0,006 | Không phải mô hình chính trên Groq | 0,30 / 0,006 / 1,20 | Khoảng 0,30 / 1,20 theo giá gốc của DeepSeek |
| DeepSeek V4 Pro | Giá thay đổi theo thời điểm, tra bảng giá chính thức | Không phải mô hình chính trên Groq | 1,74 / 0,145 / 3,48 | Khoảng 1,32 / 3,96 cho bản 0813 theo OpenRouter tháng 11/2026 |
| Kimi K3 | 3,00 / 15,00, cached 0,30 | Không phải mô hình chính trên Groq | 3,00 / 0,30 / 15,00 | Tùy nhà cung cấp phục vụ, tra theo ID mô hình |
| GLM 5.3 | 1,40 / 4,40, cached 0,26 | Không phải mô hình chính trên Groq | 1,40 / 0,26 / 4,40 | Khoảng 0,079 / 1,40 cho một bản GLM 5.3 trên OpenRouter, cần tra đúng ID |
Bảng trên cho thấy ba bài học. Thứ nhất, giá của cùng một mô hình có thể giống hệt nhau giữa Together AI và Fireworks AI, vì cả hai đều tính theo giá niêm yết của hãng sản xuất mô hình. Thứ hai, giá của cùng một mô hình có thể chênh lệch gấp nhiều lần giữa các nhà cung cấp, ví dụ Llama 3.3 70B có giá 1,04 USD trên Together AI nhưng chỉ khoảng 0,10 USD đầu vào trên một nhà cung cấp giá rẻ khác theo bài so sánh tháng 10/2026. Thứ ba, giá cached input có thể rẻ hơn giá input chuẩn tới 10–50 lần, vì vậy một ứng dụng RAG với prompt dài lặp lại có thể rẻ hơn rất nhiều nếu chọn đúng nền tảng và thiết kế đúng prompt. Bạn nên xây một bảng tính nhỏ với đúng mô hình, đúng độ dài prompt và đầu ra, đúng tỷ lệ cache hit của ứng dụng mình, rồi mới so sánh hóa đơn dự kiến.
Ví dụ tính chi phí theo tháng cho ba kịch bản thực tế
Kịch bản thứ nhất là chatbot hỗ trợ khách hàng cho một khách sạn nhỏ, với 10.000 lượt hội thoại mỗi tháng, mỗi lượt trung bình 1.000 token đầu vào và 300 token đầu ra, dùng gpt-oss-120b trên Groq với giá 0,15 USD input và 0,60 USD output. Chi phí token mỗi tháng là 10.000 nhân với (1.000/1.000.000 x 0,15 + 300/1.000.000 x 0,60), tức khoảng 10.000 nhân với 0,00033 USD, bằng khoảng 3,30 USD. Đây là một con số rất nhỏ, cho thấy với lưu lượng vừa phải, chi phí token không phải là rào cản; rào cản thực sự là chất lượng trả lời, độ ổn định và thời gian tích hợp. Nếu dùng mô hình đắt hơn như Kimi K3 với giá 3,00 USD input và 15,00 USD output, cùng khối lượng đó tốn khoảng 75 USD mỗi tháng — vẫn chấp nhận được cho một doanh nghiệp nhỏ, nhưng đã gấp hơn 20 lần.
Kịch bản thứ hai là hệ thống RAG tra cứu tài liệu nội bộ, với 50.000 lượt truy vấn mỗi tháng, mỗi lượt có 8.000 token đầu vào (trong đó 7.000 token là tài liệu và system prompt lặp lại, được cache) và 500 token đầu ra, dùng DeepSeek V4.1 Flash trên Fireworks AI với giá 0,30 USD input, 0,006 USD cached input và 1,20 USD output. Nếu không có caching, chi phí mỗi lượt là 8.000/1.000.000 x 0,30 + 500/1.000.000 x 1,20, tức khoảng 0,003 USD, và 50.000 lượt tốn khoảng 150 USD. Nếu có caching cho 7.000 token lặp lại, chi phí mỗi lượt giảm xuống còn khoảng (1.000 x 0,30 + 7.000 x 0,006 + 500 x 1,20)/1.000.000, tức khoảng 0,00094 USD, và 50.000 lượt chỉ tốn khoảng 47 USD — tiết kiệm gần 70%. Đây là lý do các đội làm RAG luôn đặt phần prompt cố định ở đầu và bật caching khi có thể.
Kịch bản thứ ba là xử lý hàng loạt 100.000 mô tả sản phẩm, mỗi mô tả cần 500 token đầu vào và 200 token đầu ra, dùng batch API với mức giảm 50%. Nếu giá chuẩn là 1,00 USD input và 2,00 USD output cho một triệu token, chi phí không batch là 100.000 nhân với (500/1.000.000 x 1,00 + 200/1.000.000 x 2,00), tức khoảng 90 USD. Với batch giảm 50%, chi phí chỉ còn khoảng 45 USD. Nếu công việc này lặp lại hàng tháng, khoản tiết kiệm 45 USD mỗi tháng là đủ để trả cho thời gian bạn bỏ ra để viết code batch. Ba ví dụ trên đều là ước tính minh họa dựa trên giá đã kiểm chứng; chi phí thực tế của bạn sẽ khác vì độ dài prompt, tỷ lệ cache hit và mô hình bạn chọn đều khác.
Chọn nền tảng theo nhu cầu: quyết định trong 5 phút
Nếu bạn cần tốc độ phản hồi nhanh nhất cho chatbot hoặc trợ lý thời gian thực, hãy bắt đầu với Groq cho mô hình gpt-oss, và đo TTFT cùng tốc độ token/giây thực tế từ máy chủ của bạn. Nếu Groq không có mô hình bạn cần, hãy thử chế độ Fast hoặc Ultra-fast của Fireworks AI cho cùng mô hình đó, rồi mới so sánh với Together AI. Đừng chọn chỉ vì một con số quảng cáo; hãy đo trên đúng prompt và đúng mô hình của bạn.
Nếu bạn cần thử nhiều mô hình để tìm ra mô hình tốt nhất cho một tác vụ, hãy bắt đầu với OpenRouter. Một API key duy nhất cho phép bạn thử GPT, Claude, Gemini, Llama, DeepSeek, Qwen và nhiều mô hình khác mà không cần đăng ký từng tài khoản. Khi đã tìm ra mô hình chiến thắng, hãy so sánh giá gọi trực tiếp nhà cung cấp gốc với giá qua OpenRouter cộng phí credit 5,5%, và chuyển mô hình chính sang gọi trực tiếp nếu khối lượng đủ lớn để khoản phí đó trở nên đáng kể, trong khi vẫn giữ OpenRouter làm kênh dự phòng.
Nếu bạn cần fine-tune mô hình mở cho dữ liệu riêng, hãy bắt đầu với Together AI hoặc Fireworks AI. Cả hai đều hỗ trợ LoRA và full fine-tuning, và đều cho phép triển khai mô hình đã fine-tune lên serverless hoặc dedicated. Hãy thử fine-tune trên một tập dữ liệu nhỏ trước, đo chất lượng trên một bộ test riêng, rồi mới mở rộng. Đừng fine-tune chỉ vì nghe nói fine-tune tốt hơn; trong nhiều trường hợp, một prompt tốt và RAG tốt đã đủ, và fine-tune chỉ cần thiết khi bạn cần mô hình học được giọng văn, định dạng đầu ra hay kiến thức chuyên ngành mà prompt không truyền tải hết.
Nếu bạn xây dựng sản phẩm thật với lưu lượng ổn định và cần độ tin cậy cao, hãy bắt đầu với Fireworks AI hoặc Together AI, bật prompt caching, dùng batch API cho tác vụ không cần phản hồi ngay, và thiết lập failover sang OpenRouter hoặc sang nhà cung cấp thứ hai. Hãy đặt giới hạn chi tiêu theo ngày và theo tháng, bật cảnh báo khi chi phí vượt ngưỡng, và theo dõi tỷ lệ lỗi cùng độ trễ theo từng mô hình. Một sản phẩm thật không chỉ cần mô hình tốt, mà còn cần khả năng chịu lỗi khi một nhà cung cấp gặp sự cố.
Nếu bạn là doanh nghiệp Việt Nam mới bắt đầu và ngân sách còn hạn chế, hãy bắt đầu với các mô hình miễn phí trên OpenRouter để thử nghiệm, sau đó chuyển sang mô hình nhỏ giá rẻ như gpt-oss-20b trên Groq hoặc các mô hình dưới 4B trên Fireworks AI với giá khoảng 0,10 USD cho một triệu token. Đừng bắt đầu với mô hình lớn nhất và đắt nhất; hãy bắt đầu với mô hình nhỏ nhất có thể đáp ứng được yêu cầu chất lượng, đo chất lượng trên dữ liệu thật của bạn, và chỉ nâng cấp khi có bằng chứng rằng mô hình lớn hơn thực sự tốt hơn cho tác vụ của bạn.
Checklist triển khai trong một buổi chiều
- Chọn một mô hình chính và một mô hình dự phòng, ghi rõ tên đầy đủ và ID mô hình trên từng nền tảng.
- Tạo API key riêng cho từng môi trường (dev, staging, production), không dùng chung một key cho mọi nơi.
- Viết một lớp wrapper gọi API tương thích OpenAI, để đổi nhà cung cấp chỉ bằng cách đổi base_url, api_key và tên mô hình.
- Đo token bằng đúng bộ mã hóa của mô hình, ghi log số token input, output và cached cho mỗi lần gọi trong tuần đầu tiên.
- Đặt system prompt cố định ở đầu prompt để tận dụng prompt caching, và đo tỷ lệ cache hit thực tế.
- Thiết lập retry với backoff cho lỗi 429 và 500, timeout hợp lý, và circuit breaker khi nhà cung cấp lỗi liên tục.
- Thiết lập failover sang mô hình dự phòng trên OpenRouter hoặc nhà cung cấp thứ hai, và kiểm tra failover bằng cách giả lập lỗi.
- Đặt giới hạn chi tiêu theo ngày và theo tháng, bật cảnh báo chi phí, và xem lại hóa đơn tuần đầu tiên để phát hiện prompt quá dài hay vòng lặp gọi API.
- Kiểm tra chính sách lưu trữ dữ liệu, bật zero data retention nếu có, và không gửi dữ liệu cá nhân nhạy cảm qua API khi chưa có thỏa thuận xử lý dữ liệu.
- Ghi lại quyết định chọn mô hình và nhà cung cấp, cùng lý do và số liệu đo được, để ba tháng sau bạn vẫn hiểu vì sao mình chọn như vậy.
Đoạn code mẫu: một wrapper dùng được cho cả bốn nền tảng
Điểm thuận lợi lớn nhất của bốn nền tảng trong bài này là chúng đều hỗ trợ API tương thích OpenAI. Điều đó có nghĩa là bạn có thể viết một lần và đổi nhà cung cấp bằng cấu hình, không cần viết lại logic gọi API. Đoạn code Python dưới đây là ví dụ khái niệm, dùng thư viện openai chính thức, và bạn cần thay base_url, api_key và tên mô hình bằng giá trị thật của mình. Đoạn code này không phải là code production đầy đủ; nó minh họa ý tưởng wrapper và cách truyền mô hình dự phòng qua OpenRouter.
Ví dụ: khởi tạo client cho Together AI bằng base_url https://api.together.xyz/v1, cho Groq bằng https://api.groq.com/openai/v1, cho Fireworks AI bằng https://api.fireworks.ai/inference/v1, và cho OpenRouter bằng https://openrouter.ai/api/v1. Mỗi client dùng cùng phương thức chat.completions.create, cùng tham số model, messages, temperature và max_tokens. Khi dùng OpenRouter, bạn có thể truyền thêm tham số models gồm danh sách mô hình chính và mô hình dự phòng để bật failover tự động. Khi dùng Fireworks AI hoặc Together AI, bạn có thể bật chế độ batch bằng cách gửi yêu cầu qua endpoint batch riêng của từng nền tảng, theo tài liệu chính thức của họ.
Trong code production, bạn nên bổ sung thêm: đo thời gian TTFT và tổng thời gian, ghi log số token trả về trong usage, xử lý streaming để hiển thị từng token cho người dùng, giới hạn độ dài đầu ra để tránh hóa đơn bất ngờ, và kiểm tra nội dung đầu ra trước khi hiển thị nếu ứng dụng của bạnhướng tới người dùng cuối. Bạn cũng nên tách riêng phần cấu hình mô hình ra một file config, để đội sản phẩm có thể đổi mô hình mà không cần sửa code, và để bạn có thể chạy thử nghiệm A/B giữa hai mô hình chỉ bằng cách thay đổi tỷ lệ phân bổ lưu lượng.
Những sai lầm thường gặp khi thuê mô hình mã nguồn mở qua API
Sai lầm thứ nhất là chọn mô hình lớn nhất vì nghĩ rằng lớn hơn luôn tốt hơn. Trong nhiều tác vụ như phân loại, trích xuất hay tóm tắt ngắn, một mô hình 8B–20B đã cho chất lượng gần tương đương mô hình 70B, nhưng nhanh hơn nhiều lần và rẻ hơn nhiều lần. Bạn nên đo chất lượng trên dữ liệu thật của mình với ít nhất hai kích thước mô hình, và chỉ chọn mô hình lớn khi có bằng chứng rõ ràng rằng nó tốt hơn đủ để xứng đáng với chi phí và độ trễ tăng thêm.
Sai lầm thứ hai là bỏ qua token đầu vào. Nhiều người chỉ nhìn giá token đầu ra, nhưng trong ứng dụng RAG, prompt có thể dài gấp 10–20 lần đầu ra, vì vậy chi phí input mới là phần lớn của hóa đơn. Hãy đo độ dài prompt trung bình, rút gọn system prompt, chỉ đưa vào prompt những tài liệu thực sự liên quan, và bật caching cho phần lặp lại. Một prompt dài hơn 8.000 token cho một câu trả lời ngắn thường là dấu hiệu bạn đang đưa quá nhiều ngữ cảnh không cần thiết.
Sai lầm thứ ba là không có giới hạn và không theo dõi chi phí. Một vòng lặp code lỗi có thể gọi API hàng nghìn lần trong vài phút, hoặc một prompt bị lặp lại có thể làm hóa đơn tăng vọt trong một đêm. Hãy đặt giới hạn chi tiêu, giới hạn số token mỗi lần gọi, giới hạn số lần gọi mỗi người dùng, và xem lại hóa đơn hàng ngày trong tuần đầu tiên. Một dashboard đơn giản hiển thị số lần gọi, số token và chi phí theo mô hình sẽ giúp bạn phát hiện vấn đề trước khi nó trở thành hóa đơn lớn.
Sai lầm thứ tư là tin hoàn toàn vào số liệu tốc độ của nhà cung cấp. Tốc độ đo được trong phòng thí nghiệm với prompt ngắn và đầu ra ngắn có thể khác xa tốc độ thực tế với prompt dài và nhiều yêu cầu đồng thời. Hãy đo TTFT và tốc độ token/giây trên đúng workload của bạn, vào giờ cao điểm, từ đúng vị trí máy chủ của bạn, và ghi lại kết quả để so sánh giữa các nhà cung cấp một cách công bằng.
Sai lầm thứ năm là không có kế hoạch dự phòng. Một nhà cung cấp có thể gặp sự cố, một mô hình có thể bị ngừng phục vụ, hoặc giá có thể tăng đột ngột. Nếu ứng dụng của bạn chỉ gọi một mô hình trên một nhà cung cấp, một sự cố duy nhất có thể làm toàn bộ sản phẩm ngừng hoạt động. Hãy chuẩn bị ít nhất một mô hình dự phòng trên một nhà cung cấp khác, kiểm tra failover định kỳ, và giữ cho code của bạn không bị khóa chặt vào một nhà cung cấp duy nhất.
Sai lầm thứ sáu là gửi dữ liệu nhạy cảm mà không đọc chính sách dữ liệu. Một số nền tảng lưu prompt và phản hồi để cải thiện dịch vụ, trừ khi bạn bật chế độ không lưu trữ. Trước khi gửi dữ liệu khách hàng, dữ liệu cá nhân hay bí mật kinh doanh, hãy đọc chính sách bảo mật và điều khoản xử lý dữ liệu của nhà cung cấp, bật zero data retention nếu có, và cân nhắc ẩn danh hoặc mã hóa các trường nhạy cảm trước khi gửi.
Tương lai của thị trường inference cho mô hình mở
Ba xu hướng đang định hình thị trường này. Thứ nhất, giá của cùng một mô hình đang hội tụ giữa các nhà cung cấp lớn, vì nhiều nền tảng đều tính theo giá niêm yết của hãng sản xuất mô hình. Khi giá không còn là yếu tố phân biệt chính, tốc độ, độ tin cậy, danh mục mô hình độc quyền và tính năng như caching, batch hay fine-tuning sẽ trở thành yếu tố quyết định. Thứ hai, các mô hình mở đang ngày càng mạnh và ngày càng rẻ để phục vụ, nhờ các kỹ thuật như FP8, speculative decoding và các chip chuyên dụng như LPU. Điều này làm cho mô hình mở trở thành lựa chọn khả thi cho nhiều tác vụ mà trước đây chỉ mô hình độc quyền mới làm được. Thứ ba, các cổng tổng hợp như OpenRouter đang trở thành lớp trung gian quan trọng, giúp nhà phát triển thử nghiệm và chuyển đổi giữa các mô hình mà không bị khóa vào một nhà cung cấp. Trong tương lai, nhiều ứng dụng sẽ không gọi trực tiếp một nhà cung cấp, mà gọi qua một lớp định tuyến thông minh tự chọn mô hình rẻ nhất và nhanh nhất cho từng yêu cầu.
Với doanh nghiệp Việt Nam, điều này có nghĩa là cơ hội để xây dựng sản phẩm AI mà không cần đầu tư lớn vào hạ tầng đang rộng mở hơn bao giờ hết. Một nhóm nhỏ có thể dùng mô hình mở qua API để xây chatbot, hệ thống RAG, công cụ viết nội dung hay trợ lý phân tích dữ liệu, và chỉ trả tiền theo mức sử dụng thực tế. Thách thức không còn nằm ở việc có GPU hay không, mà nằm ở việc hiểu rõ bài toán của mình, chọn đúng mô hình, thiết kế prompt tốt, và vận hành hệ thống một cách tin cậy và tiết kiệm. Bài viết này đã cho bạn bản đồ để bắt đầu; bước tiếp theo là chọn một mô hình, viết một đoạn code thử nghiệm, đo kết quả trên dữ liệu thật, và lặp lại cho đến khi bạn tìm ra cấu hình phù hợp nhất cho sản phẩm của mình.
Câu hỏi thường gặp (FAQs)
Thuê mô hình AI mã nguồn mở qua API là gì?
Thuê mô hình AI mã nguồn mở qua API là cách dùng các mô hình như Llama, Qwen, DeepSeek hay Mistral mà không cần tự mua GPU hay vận hành máy chủ. Bạn gửi prompt qua một endpoint HTTP, nhà cung cấp chạy mô hình trên hạ tầng của họ và trả về văn bản, bạn trả tiền theo số token đã dùng. Cách này giúp ra mắt sản phẩm nhanh, thử nhiều mô hình dễ dàng và chỉ trả tiền cho lượng sử dụng thực tế.
Nên chọn Together AI, Groq, Fireworks AI hay OpenRouter?
Không có đáp án đúng cho mọi trường hợp. Chọn Groq khi bạn cần tốc độ cao nhất cho mô hình gpt-oss trong ứng dụng thời gian thực. Chọn Together AI khi bạn cần danh mục hơn 200 mô hình và fine-tuning mô hình mở. Chọn Fireworks AI khi bạn cần tốc độ, prompt caching và batch API cho sản phẩm thật. Chọn OpenRouter khi bạn cần thử nhiều mô hình từ nhiều hãng qua một API key và cần failover tự động. Trong nhiều hệ thống production, đáp án tốt nhất là dùng một nền tảng chính và một nền tảng dự phòng.
Groq có thực sự nhanh hơn các nền tảng khác không?
Có, với các mô hình mà Groq phục vụ, tốc độ thường cao hơn hẳn endpoint GPU thông thường. Theo số liệu nhà cung cấp cuối tháng 10/2026, gpt-oss-20b đạt khoảng 1.000 token/giây và gpt-oss-120b đạt khoảng 500 token/giây, và bên thứ ba Artificial Analysis đo được khoảng 470 token/giây cho gpt-oss-120b. Tuy nhiên, Groq không nhanh nhất cho mọi mô hình, vì danh mục trả phí công khai của họ đã thu hẹp và một số mô hình đã chuyển sang hạng Enterprise. Bạn nên đo tốc độ trên đúng mô hình và đúng workload của mình.
OpenRouter có đắt hơn gọi trực tiếp nhà cung cấp không?
OpenRouter không cộng phí trên giá token của nhà cung cấp, nhưng tính phí 5,5% khi bạn mua credit bằng thẻ ở gói Standard. Vì vậy, với cùng một mô hình và cùng một lượng token, gọi qua OpenRouter đắt hơn gọi trực tiếp khoảng 5,5% ở bước nạp tiền. Đổi lại, bạn được một API key cho hơn 500 mô hình, failover tự động và khả năng thử nghiệm nhanh. Với khối lượng rất lớn và chỉ dùng một mô hình, gọi trực tiếp thường rẻ hơn; với nhu cầu thử nhiều mô hình, OpenRouter thường đáng giá hơn khoản phí đó.
Prompt caching giúp tiết kiệm bao nhiêu chi phí?
Prompt caching có thể tiết kiệm rất nhiều nếu prompt của bạn có phần lặp lại dài. Theo tài liệu giá của Fireworks AI cập nhật ngày 04/11/2026, cached input của nhiều mô hình flagship chỉ bằng khoảng 10% giá input chuẩn, ví dụ DeepSeek V4 Pro có cached input 0,145 USD so với input chuẩn 1,74 USD cho một triệu token. Trong ví dụ RAG ở bài này, caching giúp giảm chi phí từ khoảng 150 USD xuống còn khoảng 47 USD mỗi tháng cho 50.000 lượt truy vấn. Mức tiết kiệm thực tế phụ thuộc vào tỷ lệ token lặp lại trong prompt của bạn.
Khi nào nên dùng batch API và khi nào nên dùng dedicated endpoint?
Nên dùng batch API khi bạn có thể chờ vài phút đến vài giờ để nhận kết quả, ví dụ phân loại hàng nghìn tài liệu hay tạo mô tả sản phẩm hàng loạt, vì batch giảm khoảng 50% chi phí trên cả Together AI và Fireworks AI. Nên dùng dedicated endpoint khi lưu lượng của bạn cao và ổn định, khi bạn cần đảm bảo không bị chia sẻ tài nguyên, hoặc khi bạn cần chạy một mô hình fine-tune riêng. Quy tắc thực nghiệm thường được trích dẫn là serverless rẻ hơn dưới khoảng 50–60 triệu token mỗi ngày cho mô hình 70B, nhưng bạn nên tính lại với giá token và giá GPU tại thời điểm triển khai.
Có cần fine-tune mô hình mã nguồn mở không, hay chỉ cần prompt tốt là đủ?
Trong nhiều trường hợp, một prompt tốt kết hợp với RAG đã đủ và rẻ hơn fine-tuning rất nhiều. Bạn chỉ nên fine-tune khi mô hình cần học giọng văn, định dạng đầu ra hay kiến thức chuyên ngành mà prompt không truyền tải hết, hoặc khi bạn cần mô hình nhỏ hơn nhưng vẫn đạt chất lượng của mô hình lớn hơn. Hãy thử prompt và RAG trước, đo chất lượng trên bộ test riêng, và chỉ fine-tune khi có bằng chứng rằng nó cải thiện rõ rệt. Cả Together AI và Fireworks AI đều hỗ trợ fine-tuning với giá khởi điểm khoảng 0,48–0,50 USD cho một triệu token huấn luyện.
Làm thế nào để tránh bị khóa vào một nhà cung cấp inference API?
Hãy viết một lớp wrapper gọi API tương thích OpenAI, để đổi nhà cung cấp chỉ bằng cách đổi base_url, api_key và tên mô hình. Hãy chuẩn bị ít nhất một mô hình dự phòng trên một nhà cung cấp khác, thiết lập failover tự động qua OpenRouter hoặc qua code của bạn, và kiểm tra failover định kỳ. Hãy ghi lại quyết định chọn mô hình và lý do, theo dõi giá và tốc độ của các nhà cung cấp mỗi quý, và đừng dùng các tính năng độc quyền của một nhà cung cấp cho logic cốt lõi của sản phẩm trừ khi thực sự cần thiết.
Liên hệ AIA qua hotline 0939 936 168 để được tư vấn giải pháp AI phù hợp với doanh nghiệp của bạn.
