LoCo là phương pháp huấn luyện do nhóm nghiên cứu Tencent và Đại học Giao thông Tây An (Xi’an Jiaotong University) giới thiệu trong bài báo công bố trên arXiv ngày 3/11/2026. Phương pháp này dạy mô hình suy luận biết tự dừng quá trình “suy nghĩ” sớm ngay khi đã có đủ thông tin để trả lời, qua đó cắt giảm tới 45% độ dài đầu ra suy luận mà không làm giảm độ chính xác. Nói cách khác, LoCo giúp mô hình lớn suy nghĩ ngắn gọn hơn, rẻ hơn và nhanh hơn, nhưng vẫn trả lời đúng như trước.
Đây là một hướng đi rất đáng chú ý trong bối cảnh các mô hình suy luận (reasoning model) ngày càng mạnh nhưng cũng ngày càng “nói nhiều”. Khi một mô hình phải sinh ra hàng nghìn token suy luận ẩn trước khi đưa ra đáp án cuối cùng, chi phí tính toán, độ trễ và hóa đơn API đều tăng theo. LoCo tấn công đúng vào điểm nghẽn này: không phải bằng cách ép mô hình trả lời ngắn một cách máy móc, mà bằng cách dạy nó khả năng tự đánh giá độ tin cậy của chính mình để quyết định khi nào đã suy nghĩ đủ.
Vì sao mô hình suy luận tốn nhiều token đến vậy?
Mô hình suy luận là các mô hình ngôn ngữ lớn được huấn luyện để “suy nghĩ trước khi trả lời”. Thay vì đưa ra đáp án ngay lập tức như các mô hình trò chuyện thông thường, chúng sinh ra một chuỗi suy luận trung gian dài — còn gọi là chain-of-thought — trong đó chúng phân tích đề bài, thử nhiều hướng giải, tự kiểm tra và sửa sai, rồi mới tổng hợp đáp án cuối cùng.
Cách làm này đã chứng minh hiệu quả vượt trội trong toán học, lập trình, logic và các bài toán cần nhiều bước suy luận. Nhưng nó đi kèm một cái giá rất thật: mỗi câu trả lời tiêu tốn gấp nhiều lần số token so với mô hình thông thường. Một bài toán mà mô hình thường trả lời trong 200 token có thể khiến mô hình suy luận sinh ra 3.000–5.000 token suy luận trước khi chốt đáp án. Phần lớn số token này người dùng cuối không bao giờ nhìn thấy — chúng là token suy luận ẩn — nhưng nhà cung cấp vẫn tính phí đầy đủ, và người dùng vẫn phải chờ đợi trong suốt thời gian mô hình “suy nghĩ”.
Vấn đề càng nghiêm trọng hơn khi quan sát kỹ hành vi của các mô hình suy luận hiện nay. Nhiều nghiên cứu và thực nghiệm trong ngành cho thấy mô hình thường tiếp tục suy luận rất lâu sau khi đã tìm ra đáp án đúng. Chúng kiểm tra lại đáp án nhiều lần, thử các hướng giải thay thế không cần thiết, hoặc đơn giản là “lẩn quẩn” trong vòng lặp tự kiểm chứng. Hiện tượng này được gọi là overthinking — suy nghĩ thừa. Với các bài toán dễ, overthinking đặc biệt lãng phí: mô hình có thể đã biết đáp án từ những bước đầu tiên nhưng vẫn viết thêm hàng nghìn token chỉ để chắc chắn.
Ngược lại, với bài toán khó, suy luận dài lại là cần thiết. Đây chính là điểm khó của bài toán tiết kiệm token: không thể áp một giới hạn độ dài cố định cho mọi câu hỏi, vì làm vậy sẽ cắt ngắn cả những suy luận thực sự cần thiết và làm giảm độ chính xác. Giải pháp lý tưởng phải là giải pháp thích ứng — mô hình tự biết khi nào cần suy nghĩ sâu và khi nào có thể dừng lại. Đó chính là ý tưởng trung tâm của LoCo.
Token suy luận ẩn là gì và vì sao doanh nghiệp cần quan tâm?
Token suy luận ẩn (hidden reasoning token) là các token mà mô hình suy luận sinh ra trong quá trình suy nghĩ nội bộ trước khi đưa ra câu trả lời cuối cùng. Người dùng chỉ nhìn thấy đáp án cuối, nhưng toàn bộ chuỗi suy luận vẫn được tính vào chi phí API và thời gian chờ. Với nhiều nhà cung cấp, token suy luận được tính phí theo cùng đơn giá với token đầu ra thông thường, thậm chí cao hơn.
Hãy hình dung một doanh nghiệp dùng mô hình suy luận để xử lý 10.000 yêu cầu mỗi ngày, mỗi yêu cầu trung bình tốn 2.000 token suy luận. Nếu cắt được 45% số token này mà vẫn giữ nguyên độ chính xác, doanh nghiệp tiết kiệm gần một nửa chi phí suy luận — một con số rất lớn khi nhân lên theo tháng và theo năm. Ngoài chi phí, độ trễ cũng giảm tương ứng: câu trả lời đến tay người dùng nhanh hơn gần một nửa thời gian suy luận, cải thiện rõ rệt trải nghiệm trong các ứng dụng tương tác trực tiếp như chatbot, trợ lý lập trình hay công cụ hỗ trợ quyết định.
Token suy luận ẩn cũng ảnh hưởng tới khả năng mở rộng hệ thống. Mỗi token suy luận chiếm dụng tài nguyên GPU trong suốt thời gian sinh ra. Giảm độ dài suy luận đồng nghĩa với việc cùng một hạ tầng có thể phục vụ nhiều yêu cầu đồng thời hơn, giảm hàng đợi và giảm nhu cầu đầu tư thêm máy chủ. Với các doanh nghiệp tự vận hành mô hình (self-hosting), đây là lợi ích trực tiếp về công suất. Với doanh nghiệp dùng API, đây là lợi ích trực tiếp về hóa đơn.
LoCo là gì? Định nghĩa ngắn gọn
LoCo là phương pháp huấn luyện dạy mô hình ngôn ngữ lớn biết tự đánh giá độ tin cậy của quá trình suy luận của chính mình và dừng suy luận sớm khi đã đủ thông tin để trả lời đúng. Thay vì suy luận theo một độ dài cố định hoặc suy luận cho tới khi “cạn ý”, mô hình được huấn luyện để nhận ra thời điểm đáp án đã đủ chắc chắn, từ đó kết thúc chuỗi suy luận và đưa ra đáp án cuối cùng. Theo kết quả được nhóm nghiên cứu Tencent và Đại học Giao thông Tây An báo cáo, LoCo cắt giảm tới 45% độ dài đầu ra suy luận mà không làm giảm độ chính xác.
Điểm khác biệt quan trọng của LoCo so với các cách tiết kiệm token đơn giản là tính thích ứng. Mô hình không bị ép trả lời ngắn trong mọi trường hợp. Với câu hỏi dễ, nó dừng sớm và tiết kiệm được nhiều token. Với câu hỏi khó, nó vẫn được phép suy luận dài hơn cho tới khi đủ tin cậy. Cơ chế này giống cách con người suy nghĩ: một phép tính đơn giản thì trả lời ngay, một bài toán phức tạp thì dành thời gian suy nghĩ kỹ. LoCo đưa khả năng tự điều chỉnh độ dài suy luận này vào trong chính mô hình, thay vì để nó phụ thuộc vào cấu hình bên ngoài.
LoCo hoạt động theo nguyên lý nào?
Nguyên lý cốt lõi của LoCo là dạy mô hình khả năng tự đánh giá độ tin cậy (confidence) trong quá trình suy luận. Trong quá trình huấn luyện, mô hình học cách nhận biết khi nào các bước suy luận đã hội tụ về một đáp án đủ chắc chắn, và khi đó việc suy luận thêm mang lại rất ít giá trị. Một khi đã học được khả năng này, mô hình có thể chủ động kết thúc chuỗi suy luận thay vì tiếp tục “suy nghĩ cho chắc”.
Để hiểu rõ hơn, hãy so sánh với cách mô hình suy luận thông thường hoạt động. Các mô hình này thường được huấn luyện bằng học tăng cường (reinforcement learning) với phần thưởng dựa trên đáp án đúng, và chúng học được rằng suy luận dài hơn thường đi kèm đáp án đúng hơn. Hệ quả là mô hình hình thành xu hướng “suy luận càng dài càng tốt”, kể cả khi đáp án đã rõ ràng. LoCo can thiệp vào chính quá trình huấn luyện này: nó dạy mô hình rằng suy luận ngắn gọn nhưng đủ tin cậy cũng xứng đáng được thưởng, và suy luận thừa không mang lại thêm giá trị.
Một cách hình dung khác: nếu coi quá trình suy luận như một cuộc điều tra, thì mô hình thông thường giống như một điều tra viên cứ thu thập thêm bằng chứng mãi dù đã đủ để kết luận, còn mô hình được huấn luyện bằng LoCo giống như điều tra viên biết khi nào hồ sơ đã đủ chắc để ra quyết định. Khả năng dừng đúng lúc này không làm giảm chất lượng kết luận, vì các bằng chứng bổ sung sau thời điểm đó thường chỉ xác nhận lại điều đã biết.
Cần lưu ý rằng các chi tiết kỹ thuật cụ thể của quy trình huấn luyện LoCo — chẳng hạn như hàm phần thưởng chính xác hay cách xây dựng dữ liệu huấn luyện — thuộc về bài báo gốc trên arXiv. Bài viết này tập trung vào nguyên lý và ý nghĩa ứng dụng, và độc giả quan tâm tới chi tiết triển khai nên tham khảo trực tiếp bài báo của nhóm Tencent và Đại học Giao thông Tây An.
So sánh LoCo với các cách tiết kiệm token khác
LoCo không phải là cách duy nhất để giảm chi phí suy luận của LLM. Ngành AI đã có nhiều hướng tiếp cận khác nhau, mỗi hướng có ưu và nhược điểm riêng. Bảng dưới đây so sánh LoCo với các phương pháp phổ biến.
| Phương pháp | Cách hoạt động | Ưu điểm | Hạn chế |
|---|---|---|---|
| LoCo (huấn luyện dừng sớm) | Dạy mô hình tự đánh giá độ tin cậy và dừng suy luận khi đủ thông tin | Thích ứng theo độ khó; cắt tới 45% độ dài suy luận mà không giảm độ chính xác theo báo cáo của nhóm nghiên cứu | Nghiên cứu mới, cần kiểm chứng độc lập; yêu cầu huấn luyện lại hoặc tinh chỉnh mô hình |
| Prompt engineering (yêu cầu trả lời ngắn) | Thêm hướng dẫn “trả lời ngắn gọn” hoặc “suy nghĩ ngắn” vào prompt | Áp dụng ngay, không cần huấn luyện lại | Hiệu quả không ổn định; mô hình có thể bỏ qua hướng dẫn; dễ giảm độ chính xác với bài toán khó |
| Giới hạn token đầu ra (max tokens / reasoning budget) | Cắt cứng số token suy luận tối đa cho mỗi yêu cầu | Dễ triển khai, kiểm soát chi phí chắc chắn | Cắt cả suy luận cần thiết; bài toán khó bị ảnh hưởng nặng nhất |
| Distillation (chưng cất mô hình) | Huấn luyện mô hình nhỏ học theo mô hình lớn, kể cả chuỗi suy luận ngắn gọn hơn | Mô hình nhỏ chạy nhanh, rẻ; có thể giữ phần lớn chất lượng | Tốn công huấn luyện; mô hình nhỏ vẫn có giới hạn năng lực |
| Early exit (thoát sớm) | Cho phép mô hình dừng ở lớp giữa khi đã đủ tin cậy | Tiết kiệm tính toán trong suy luận | Phức tạp khi triển khai; hiệu quả phụ thuộc kiến trúc mô hình |
| Speculative decoding (giải mã suy đoán) | Dùng mô hình nhỏ đoán trước nhiều token, mô hình lớn chỉ kiểm chứng | Tăng tốc độ sinh token đáng kể | Giảm độ trễ chứ không giảm tổng số token tính phí; cần hạ tầng hỗ trợ |
| Chọn mô hình nhỏ hơn cho bài dễ (model routing) | Định tuyến câu hỏi dễ sang mô hình nhỏ, rẻ; câu khó sang mô hình lớn | Tiết kiệm chi phí rõ rệt ở quy mô lớn | Cần bộ định tuyến chính xác; sai định tuyến gây giảm chất lượng |
Điểm mạnh nổi bật của LoCo so với các phương pháp trên là nó can thiệp vào chính khả năng tự nhận thức của mô hình, thay vì áp đặt giới hạn từ bên ngoài. Prompt engineering và giới hạn token đều là biện pháp “ngoại sinh” — chúng không thay đổi cách mô hình suy nghĩ, chỉ thay đổi điều kiện xung quanh. LoCo là biện pháp “nội sinh”: mô hình học được khi nào nên dừng, nên quyết định dừng sớm là quyết định có căn cứ chứ không phải bị ép buộc. Vì vậy, theo báo cáo của nhóm nghiên cứu, LoCo giữ được độ chính xác trong khi các biện pháp cắt ngắn cơ học thường phải đánh đổi độ chính xác lấy độ dài.
Tuy vậy, LoCo không loại trừ các phương pháp khác. Trong thực tế, doanh nghiệp có thể kết hợp nhiều lớp tiết kiệm: dùng LoCo hoặc các kỹ thuật huấn luyện tương tự ở tầng mô hình, kết hợp với model routing ở tầng hệ thống và speculative decoding ở tầng hạ tầng. Mỗi lớp giải quyết một phần khác nhau của bài toán chi phí, và hiệu quả tổng thể thường lớn hơn hiệu quả của từng lớp riêng lẻ.
Tác động của LoCo tới chi phí API và độ trễ
Tác động trực tiếp nhất của LoCo là giảm chi phí token suy luận. Với mức cắt giảm tới 45% độ dài đầu ra suy luận theo báo cáo của nhóm nghiên cứu, một doanh nghiệp đang chi một khoản lớn cho token suy luận có thể kỳ vọng hóa đơn giảm đáng kể — với điều kiện mức tiết kiệm này được tái lập trong điều kiện sử dụng thực tế của doanh nghiệp đó. Cần nhấn mạnh chữ “tới”: 45% là mức tối đa được báo cáo, và mức tiết kiệm thực tế sẽ dao động tùy theo loại bài toán, độ khó của yêu cầu và cách triển khai. Các bài toán đơn giản, lặp lại nhiều lần thường tiết kiệm được nhiều nhất, vì mô hình dừng rất sớm. Các bài toán phức tạp, đòi hỏi suy luận sâu vẫn cần suy luận dài và tiết kiệm ít hơn.
Độ trễ cũng là một lợi ích quan trọng không kém chi phí. Trong các ứng dụng tương tác trực tiếp — chatbot chăm sóc khách hàng, trợ lý lập trình, công cụ tra cứu — mỗi giây chờ đợi đều ảnh hưởng tới trải nghiệm người dùng. Khi chuỗi suy luận ngắn lại gần một nửa, thời gian chờ tới token đầu tiên của đáp án cuối cùng cũng rút ngắn tương ứng. Với các hệ thống xử lý hàng loạt (batch), thông lượng tăng lên: cùng một khoảng thời gian, hệ thống xử lý được nhiều yêu cầu hơn.
Ngoài ra, suy luận ngắn hơn còn giảm rủi ro “tràn ngữ cảnh”. Các mô hình suy luận có cửa sổ ngữ cảnh hữu hạn; chuỗi suy luận càng dài thì càng chiếm nhiều chỗ trong cửa sổ đó, để lại ít chỗ cho lịch sử hội thoại và tài liệu tham chiếu. Cắt ngắn suy luận thừa giúp hệ thống duy trì được nhiều ngữ cảnh hữu ích hơn trong cùng một giới hạn, đặc biệt quan trọng với các tác vụ agent dài hơi, nơi mô hình phải ghi nhớ nhiều bước đã thực hiện.
Hướng dẫn áp dụng thực tế cho doanh nghiệp dùng LLM
LoCo hiện là một nghiên cứu mới, chưa phải là tính năng có sẵn trong các API thương mại phổ biến. Doanh nghiệp không thể “bật LoCo” ngay hôm nay bằng một tham số cấu hình. Tuy nhiên, bài học cốt lõi của LoCo — suy luận thích ứng theo độ khó — hoàn toàn có thể áp dụng ngay bằng các biện pháp thực tế dưới đây, trong khi chờ các nhà cung cấp mô hình tích hợp những kỹ thuật tương tự vào sản phẩm của họ.
Bước 1: Đo lường trước khi tối ưu
Trước khi cắt giảm bất cứ thứ gì, doanh nghiệp cần biết mình đang tiêu tốn bao nhiêu token suy luận cho từng loại yêu cầu. Hãy ghi lại số token suy luận trung bình theo từng nhóm tác vụ: câu hỏi thường gặp, tra cứu tài liệu, phân tích dữ liệu, lập trình, toán học. Phân loại này sẽ cho thấy nhóm tác vụ nào đang “suy nghĩ thừa” nhiều nhất và xứng đáng được tối ưu trước. Một thực tế phổ biến là 20% loại yêu cầu đơn giản nhất lại chiếm phần lớn tổng token suy luận, vì chúng xuất hiện với tần suất cao mà mô hình vẫn suy luận dài như với bài toán khó.
Bước 2: Phân loại độ khó và định tuyến mô hình
Áp dụng nguyên tắc của LoCo ở tầng hệ thống: câu hỏi dễ không cần mô hình suy luận mạnh nhất. Xây dựng một bộ định tuyến đơn giản — có thể là mô hình nhỏ, rẻ hoặc thậm chí là luật dựa trên từ khóa và độ dài câu hỏi — để chuyển các yêu cầu đơn giản sang mô hình nhanh, rẻ, và chỉ chuyển yêu cầu phức tạp sang mô hình suy luận. Cách làm này mang lại hiệu quả tiết kiệm ngay lập tức mà không cần chờ đợi bất kỳ nghiên cứu mới nào. Cần theo dõi tỷ lệ định tuyến sai và điều chỉnh ngưỡng thường xuyên trong giai đoạn đầu.
Bước 3: Thiết lập ngân sách suy luận theo từng loại tác vụ
Thay vì một giới hạn token chung cho mọi yêu cầu, hãy đặt ngân sách suy luận khác nhau cho từng loại tác vụ dựa trên dữ liệu đo lường ở bước 1. Ví dụ: câu hỏi thường gặp có ngân sách thấp, phân tích tài liệu phức tạp có ngân sách cao. Cách làm này mô phỏng hành vi thích ứng của LoCo ở mức hệ thống: chi tiêu suy luận tương xứng với độ khó thực tế của từng yêu cầu. Khi đánh giá, cần đo cả độ chính xác lẫn chi phí, vì cắt ngân sách quá tay sẽ làm giảm chất lượng trước khi tiết kiệm được bao nhiêu.
Bước 4: Kiểm thử A/B trước khi triển khai diện rộng
Bất kỳ thay đổi nào liên quan tới độ dài suy luận đều phải được kiểm thử A/B trên dữ liệu thật của doanh nghiệp. Chia lưu lượng thành hai nhóm: nhóm đối chứng giữ nguyên cấu hình, nhóm thử nghiệm áp dụng cấu hình tiết kiệm. So sánh độ chính xác (bằng đánh giá tự động hoặc đánh giá của con người trên mẫu), chi phí token và độ trễ. Chỉ triển khai diện rộng khi nhóm thử nghiệm giữ được chất lượng trong ngưỡng chấp nhận được. Đây là nguyên tắc bắt buộc, vì kết quả benchmark của nhà nghiên cứu không bao giờ thay thế được kết quả đo trên dữ liệu thực tế của chính doanh nghiệp.
Bước 5: Theo dõi các nhà cung cấp mô hình
Các kỹ thuật như LoCo thường mất một thời gian mới xuất hiện trong các mô hình thương mại, nhưng khi đã xuất hiện, chúng thường đi kèm dưới dạng “chế độ suy luận hiệu quả” hoặc tham số kiểm soát độ dài suy luận. Doanh nghiệp nên theo dõi changelog của các nhà cung cấp mình đang dùng và thử nghiệm các chế độ tiết kiệm suy luận mới ngay khi có. Đồng thời, khi lựa chọn nhà cung cấp, nên ưu tiên những đơn vị công khai chỉ số “độ chính xác trên mỗi token suy luận” thay vì chỉ công bố độ chính xác tuyệt đối.
Những lưu ý và hạn chế cần biết về LoCo
LoCo là một nghiên cứu rất mới — bài báo được công bố trên arXiv ngày 3/11/2026 và được giới thiệu rộng rãi qua bản tin AISeng Tech AI Research Brief ngày 4/11/2026. Ở thời điểm này, kết quả cắt giảm tới 45% độ dài suy luận mà không giảm độ chính xác mới chỉ là kết quả do chính nhóm nghiên cứu báo cáo, chưa có kiểm chứng độc lập từ các nhóm nghiên cứu khác hoặc từ triển khai thực tế quy mô lớn. Đây là điều hoàn toàn bình thường với mọi nghiên cứu mới, nhưng doanh nghiệp và độc giả nên tiếp nhận con số này với sự thận trọng phù hợp: coi đó là tín hiệu đầy hứa hẹn, không phải là đảm bảo chắc chắn.
Một câu hỏi mở quan trọng là LoCo hoạt động tốt trên những loại mô hình và bài toán nào. Hiệu quả của các phương pháp huấn luyện thường phụ thuộc vào quy mô mô hình, dữ liệu huấn luyện và loại tác vụ đánh giá. Một phương pháp cho kết quả tốt trên các bài toán toán học và logic chưa chắc đã cho kết quả tương tự trên các tác vụ như viết văn bản dài, phân tích tài liệu pháp lý hay lập trình phức tạp. Cho tới khi có thêm nghiên cứu mở rộng phạm vi đánh giá, không nên giả định rằng mức tiết kiệm 45% sẽ áp dụng đồng đều cho mọi trường hợp sử dụng.
Cũng cần lưu ý rằng “không giảm độ chính xác” trong báo cáo nghiên cứu thường được đo trên các bộ benchmark tiêu chuẩn. Độ chính xác trên benchmark và độ chính xác trong ứng dụng thực tế là hai chuyện khác nhau. Một phương pháp có thể giữ nguyên điểm benchmark nhưng vẫn thay đổi hành vi mô hình theo những cách tinh tế mà benchmark không phát hiện được — chẳng hạn như giảm khả năng tự sửa sai trong các trường hợp biên, hoặc giảm độ tin cậy của đáp án trong các tình huống mơ hồ. Vì vậy, nếu LoCo được tích hợp vào mô hình mà doanh nghiệp đang dùng, việc kiểm thử trên dữ liệu thật vẫn là bước không thể bỏ qua.
LoCo và xu hướng suy luận hiệu quả của LLM
LoCo xuất hiện trong một xu hướng lớn hơn của ngành AI: chuyển từ cuộc đua “suy luận càng dài càng tốt” sang cuộc đua “suy luận hiệu quả”. Trong hai năm qua, các mô hình suy luận đã chứng minh sức mạnh vượt trội, nhưng chi phí của chúng cũng trở thành rào cản lớn với nhiều doanh nghiệp. Các nhà nghiên cứu và nhà cung cấp đang tập trung vào câu hỏi làm thế nào để giữ được khả năng suy luận mà không phải trả giá bằng hàng nghìn token thừa.
Cùng với LoCo, ngành đang chứng kiến nhiều hướng tiếp cận khác nhau cho cùng một mục tiêu: các phương pháp nén chuỗi suy luận, các kỹ thuật huấn luyện mô hình suy luận ngắn gọn ngay từ đầu, và các cơ chế cho phép người dùng kiểm soát ngân sách suy luận theo từng yêu cầu. Điểm chung của các hướng này là thừa nhận một thực tế đơn giản: không phải mọi câu hỏi đều xứng đáng với cùng một lượng suy luận. Tương lai của mô hình suy luận có lẽ không phải là mô hình suy nghĩ dài nhất, mà là mô hình biết suy nghĩ vừa đủ cho từng câu hỏi — và LoCo là một bước tiến cụ thể theo hướng đó.
Với doanh nghiệp Việt Nam đang ứng dụng LLM, xu hướng này mang ý nghĩa thực tế trực tiếp. Chi phí API là một trong những rào cản lớn nhất khi triển khai AI vào vận hành, đặc biệt với các doanh nghiệp vừa và nhỏ. Bất kỳ kỹ thuật nào giúp giảm đáng kể chi phí suy luận mà vẫn giữ chất lượng đều mở ra khả năng ứng dụng AI vào nhiều quy trình hơn, với tần suất cao hơn, mà trước đây bị coi là quá đắt. LoCo và các nghiên cứu tương tự vì vậy không chỉ là tin tức học thuật — chúng là tín hiệu cho thấy chi phí ứng dụng AI suy luận sẽ tiếp tục giảm trong thời gian tới.
Câu hỏi thường gặp (FAQs)
LoCo là gì?
LoCo là phương pháp huấn luyện do nhóm nghiên cứu Tencent và Đại học Giao thông Tây An giới thiệu trên arXiv ngày 3/11/2026, dạy mô hình suy luận LLM tự dừng “suy nghĩ” sớm khi đã đủ thông tin để trả lời. Theo nhóm nghiên cứu, LoCo cắt giảm tới 45% độ dài đầu ra suy luận mà không làm giảm độ chính xác. Nói ngắn gọn, LoCo giúp mô hình suy nghĩ ngắn gọn hơn, rẻ hơn và nhanh hơn nhưng vẫn trả lời đúng như trước.
Vì sao mô hình suy luận LLM lại tốn nhiều token?
Mô hình suy luận tốn nhiều token vì trước khi đưa ra đáp án cuối cùng, nó phải sinh ra một chuỗi suy luận trung gian dài để phân tích đề bài, thử nhiều hướng giải và tự kiểm tra đáp án. Phần lớn số token này là token suy luận ẩn mà người dùng không nhìn thấy nhưng nhà cung cấp vẫn tính phí đầy đủ. Vấn đề càng lớn khi mô hình thường tiếp tục suy luận rất lâu sau khi đã tìm ra đáp án đúng, một hiện tượng gọi là overthinking hay suy nghĩ thừa.
LoCo khác gì so với việc giới hạn số token đầu ra?
LoCo khác ở chỗ nó dạy mô hình tự quyết định khi nào nên dừng, dựa trên độ tin cậy của chính quá trình suy luận, thay vì áp một giới hạn cứng từ bên ngoài. Giới hạn token cắt ngắn mọi suy luận như nhau, kể cả suy luận thực sự cần thiết cho bài toán khó, nên dễ làm giảm độ chính xác. LoCo thì thích ứng theo độ khó: câu dễ dừng sớm, câu khó vẫn được suy luận dài hơn, vì vậy theo báo cáo của nhóm nghiên cứu, nó giữ được độ chính xác trong khi vẫn cắt giảm đáng kể độ dài suy luận.
LoCo có giúp giảm chi phí API thật không?
Có, về nguyên tắc LoCo giúp giảm chi phí API vì token suy luận chiếm phần lớn chi phí khi dùng mô hình suy luận, và cắt tới 45% số token này đồng nghĩa với việc hóa đơn giảm đáng kể. Tuy nhiên, mức tiết kiệm thực tế phụ thuộc vào loại bài toán và cách triển khai, và con số 45% là kết quả do nhóm nghiên cứu báo cáo, chưa có kiểm chứng độc lập. Doanh nghiệp nên đo lường trên dữ liệu thật của mình trước khi kỳ vọng một mức tiết kiệm cụ thể.
Doanh nghiệp có thể dùng LoCo ngay hôm nay không?
Chưa thể dùng trực tiếp, vì LoCo hiện là một nghiên cứu mới chứ chưa phải tính năng có sẵn trong các API thương mại phổ biến. Doanh nghiệp có thể áp dụng ngay bài học cốt lõi của LoCo bằng các biện pháp thực tế như định tuyến mô hình theo độ khó, đặt ngân sách suy luận khác nhau cho từng loại tác vụ và kiểm thử A/B trước khi triển khai. Đồng thời, doanh nghiệp nên theo dõi các nhà cung cấp mô hình để thử nghiệm các chế độ suy luận hiệu quả ngay khi chúng được tích hợp.
LoCo có làm giảm độ chính xác của mô hình không?
Theo kết quả do nhóm nghiên cứu Tencent và Đại học Giao thông Tây An báo cáo, LoCo cắt giảm tới 45% độ dài đầu ra suy luận mà không làm giảm độ chính xác trên các bộ đánh giá mà họ sử dụng. Tuy nhiên, đây là kết quả tự báo cáo của nhóm nghiên cứu và chưa có kiểm chứng độc lập. Độ chính xác trên benchmark cũng không hoàn toàn tương đương với độ chính xác trong ứng dụng thực tế, vì vậy doanh nghiệp vẫn cần kiểm thử trên dữ liệu thật của mình nếu áp dụng các kỹ thuật tương tự.
Nên chọn LoCo hay các phương pháp tiết kiệm token khác?
Không nhất thiết phải chọn một phương pháp duy nhất, vì các phương pháp tiết kiệm token hoạt động ở những tầng khác nhau và có thể kết hợp với nhau. LoCo can thiệp ở tầng mô hình, model routing can thiệp ở tầng hệ thống, speculative decoding can thiệp ở tầng hạ tầng. Doanh nghiệp nên bắt đầu từ các biện pháp áp dụng được ngay như định tuyến mô hình và ngân sách suy luận theo tác vụ, đồng thời theo dõi các kỹ thuật huấn luyện như LoCo để áp dụng khi chúng xuất hiện trong mô hình thương mại.
Bạn đang tìm cách ứng dụng LLM suy luận vào doanh nghiệp mà vẫn kiểm soát tốt chi phí và độ trễ? Hãy liên hệ AIA qua hotline 0939 936 168 để được tư vấn giải pháp AI phù hợp với bài toán và ngân sách của bạn.
