Phần cứng chạy AI nội bộ on-premise: chọn thế nào?

Phần cứng chạy AI nội bộ được quyết định bởi bốn yếu tố: cỡ mô hình (số tham số), số người dùng đồng thời, độ dài context, và tốc độ bạn mong muốn. Yếu tố then chốt là bộ nhớ — RAM hoặc VRAM phải đủ chứa trọng số mô hình cộng context. Với đa số doanh nghiệp, Apple Silicon (Mac Studio hoặc Mac mini, unified memory, điện năng thấp) là điểm khởi đầu gọn gàng; GPU NVIDIA phù hợp khi cần throughput rất cao hoặc training. Đây là bài 2/8 trong series tự xây AI nội bộ.

Cái gì quyết định nhu cầu phần cứng?

Trước khi bàn "mua máy gì", hãy trả lời bốn câu hỏi — chúng quyết định mọi thứ khác:

• Cỡ mô hình (số tham số): mô hình càng lớn (7B, 14B, 32B, 70B…) càng thông minh nhưng càng ngốn bộ nhớ và chạy chậm hơn. Đây là biến số ảnh hưởng lớn nhất.
• Số người dùng đồng thời: một người hỏi lẻ tẻ rất khác 30 người cùng gõ một lúc. Nhiều người đồng thời cần throughput cao hơn (và thường là GPU hoặc nhiều máy).
• Độ dài context: cho AI đọc tài liệu dài, hội thoại dài hay nhiều đoạn RAG sẽ tốn thêm bộ nhớ cho phần "ngữ cảnh" (KV cache) — context càng dài, bộ nhớ càng tăng.
• Tốc độ mong muốn: bạn chấp nhận trả lời "đọc được là kịp" hay cần gần như tức thì? Kỳ vọng tốc độ càng cao thì càng cần phần cứng mạnh hoặc mô hình nhỏ hơn.

Điểm mấu chốt: cả bốn yếu tố đều quy về bộ nhớ và throughput. Chọn được cỡ mô hình và số người dùng thì phần còn lại (loại máy, dung lượng RAM/VRAM) suy ra khá tự nhiên. Xem thêm cách các phần ghép lại trong sơ đồ kiến trúc hệ thống AI nội bộ.

Apple Silicon hay GPU?

Đây là quyết định phần cứng lớn nhất. Cả hai đều chạy được mô hình mã nguồn mở; khác nhau ở kiến trúc bộ nhớ, điện năng và tình huống phù hợp.

Với phần lớn tác vụ doanh nghiệp (trợ lý nội bộ, hỏi-đáp tài liệu, soạn thảo, tóm tắt) và quy mô người dùng vừa phải, Namtech chọn Mac Studio (Apple Silicon): unified memory cho phép nạp mô hình khá lớn trên một máy, điện năng thấp giúp đặt ngay trong văn phòng, và cả ba gói đều gói gọn trong một máy. Mac mini (M6 hoặc M5 Pro, tới 64GB) chạy được mô hình tới khoảng ~76B tham số (ước lượng 4-bit) và rẻ hơn; cách chọn giữa hai dòng máy có ở trang so sánh Mac mini và Mac Studio. Khi nhu cầu nghiêng về throughput rất cao hoặc training nặng, GPU NVIDIA là lựa chọn hợp lý hơn.

Chọn cấu hình theo quy mô

Namtech đóng gói phần cứng thành ba gói (AI Box, AI Pro, AI Enterprise), mỗi gói là một máy Mac Studio chip M5. Mô hình ghi trong bảng là mô hình Namtech dùng cho từng gói (cập nhật 01/10/2026); cỡ mô hình tối đa ước lượng của từng máy có ở trang Mac Studio, không phải số đo benchmark. Bảng không ấn định số người dùng theo gói — số người phục vụ được tùy cỡ mô hình, độ dài context và mức tải thực tế, nên Namtech chạy thử tải trên chính tài liệu của doanh nghiệp trước khi cam kết.

Nguyên tắc thực dụng: bắt đầu ở mức thấp nhất đáp ứng được bài toán rõ ràng đầu tiên, đo hiệu quả thật, rồi mới mở rộng — thay vì mua thừa từ đầu. Chi tiết các gói ở trang gói dịch vụ; giá và cấu hình từng máy ở trang Mac Studio.

Quy tắc bộ nhớ (rule of thumb)

Đây là phần quan trọng nhất khi chọn cấu hình. Bộ nhớ (RAM với Apple Silicon, VRAM với GPU) phải chứa được:

• Trọng số mô hình: xấp xỉ số tham số × số byte cho mỗi tham số. Số byte phụ thuộc quantization — nén trọng số để tốn ít bộ nhớ hơn. Ở mức nén phổ biến Q4 (khoảng nửa byte mỗi tham số), một mô hình ~7B chỉ cần khoảng vài GB; mô hình lớn hơn (14B, 32B, 70B) cần nhiều hơn tương ứng.
• Context (KV cache): phần bộ nhớ cho ngữ cảnh — context càng dài hoặc càng nhiều người đồng thời thì phần này càng tăng.

Cộng hai phần trên rồi chừa dư một khoảng an toàn cho hệ điều hành và biến động tải. Đây là rule of thumb để ước lượng nhanh, không phải con số chính xác cho mọi mô hình — con số thật khác nhau theo kiến trúc và mức quantization; hãy tra trang mô hình cụ thể trên Hugging Face. Việc chọn cỡ mô hình nào và mức quantization ra sao được bàn kỹ ở bài Chọn mô hình mã nguồn mở.

Lưu trữ & mạng

Ngoài bộ nhớ và bộ xử lý, ba thứ dễ bị bỏ quên nhưng ảnh hưởng trực tiếp tới trải nghiệm:

• SSD: mô hình có thể nặng nhiều GB, cần nạp nhanh vào bộ nhớ khi khởi động. SSD dung lượng đủ lớn để chứa nhiều mô hình cộng vector database cho RAG (tài liệu nội bộ đã đánh chỉ mục).
• Mạng nội bộ: người dùng gọi tới máy chủ AI qua mạng LAN. Mạng nội bộ ổn định giúp phản hồi mượt và giữ mọi thứ trong ranh giới on-premise — không đẩy dữ liệu ra ngoài.
• UPS (bộ lưu điện): để mô hình và dịch vụ không tắt đột ngột khi mất điện, tránh hỏng dữ liệu và gián đoạn.

Cách khóa luồng dữ liệu trong nội bộ và kiểm soát truy cập được trình bày ở bài Hệ thống bảo mật AI nội bộ.

# liệt kê các mô hình đang có trên máy
ollama list
# ước lượng thô: 7B ở Q4 ~ vài GB; mô hình lớn hơn cần nhiều hơn
# kéo & chạy thử một mô hình nhỏ để đo bộ nhớ thực tế
ollama run qwen3.5:9b

Góc nhìn Namtech

Namtech triển khai nền tảng AI riêng tư nội bộ trên một máy Mac Studio cho mỗi gói (AI Box, AI Pro, AI Enterprise): unified memory cho phép nạp mô hình khá lớn, điện năng thấp để đặt ngay trong văn phòng; cần thêm năng lực thì nâng lên gói lớn hơn — thay vì đầu tư thừa từ đầu. Mô hình là các họ mở dùng được cho thương mại: Qwen, Gemma (Apache 2.0) và GLM (MIT), chạy bằng MLX, Ollama hoặc LM Studio. Triết lý là bắt đầu vừa đủ, mở rộng dần: chọn cấu hình cho bài toán rõ ràng đầu tiên, đo hiệu quả thật, rồi nâng cấp theo nhu cầu. Bước tiếp theo là chọn mô hình mã nguồn mở phù hợp với phần cứng đã chọn.

Câu hỏi thường gặp

Lưu ý: Các con số bộ nhớ trong bài là quy tắc ước lượng (rule of thumb), cập nhật 02/07/2026; cấu hình máy và mô hình theo các gói cập nhật ngày 01/10/2026. Phần cứng và mô hình thay đổi nhanh — hãy kiểm chứng cấu hình cụ thể theo nhu cầu thực tế khi triển khai.