Model cục bộ và model frontier trên cloud cho SOC

Mô hình ngôn ngữ giờ đã là một phần của vận hành an ninh: tóm tắt alert, viết báo cáo điều tra, soạn truy vấn. Chọn model tự vận hành hay model frontier trên cloud không chỉ là chuyện chất lượng. Lựa chọn đó quyết định dữ liệu an ninh của bạn đi đâu, hoá đơn trông thế nào khi chạy đủ khối lượng alert, và chuyện gì xảy ra khi mất kết nối.

Công việc SOC đòi hỏi gì ở model

SOC tạo ra một dòng văn bản lớn và đều đặn: alert, log, command line của tiến trình, ghi chú case. Phần lớn việc của model trên đó là lặp lại và hẹp, như phân loại, trích xuất, tóm tắt, viết lại cùng một kiểu báo cáo. Phần nhỏ hơn là mở: suy luận về một kiểu tấn công mới, đọc một định dạng log lạ, giải thích một chuỗi phức tạp.

Dữ liệu an ninh cũng nhạy cảm. Nó nêu tên host và người dùng nội bộ, cho thấy phòng thủ yếu ở đâu, đôi khi chứa dữ liệu cá nhân hay secret. Dữ liệu đó được xử lý ở đâu là quyết định quản trị, không chỉ là quyết định kỹ thuật.

Đặt cạnh nhau

Tiêu chí	Model cục bộ (on-premise)	Model frontier trên cloud
Dữ liệu đi đâu	Ở lại trong môi trường của bạn	Gửi tới nhà cung cấp, theo điều khoản và khu vực của họ
Chi phí khi khối lượng lớn	Chủ yếu là chi phí phần cứng cố định; không tăng theo từng token	Tăng theo mỗi token được xử lý
Độ rộng năng lực	Hẹp hơn; mạnh khi chuyên biệt cho một việc	Suy luận và kiến thức tổng quát rộng
Chuyên biệt hoá	Có thể thích nghi với môi trường và tác vụ của bạn	Giới hạn trong prompt và tuỳ chọn của nhà cung cấp
Độ trễ và tính sẵn sàng	Ổn định; chạy được offline và ở site air-gapped	Phụ thuộc mạng và dịch vụ của nhà cung cấp
Vận hành	Bạn lo phần cứng, cập nhật và đánh giá	Nhà cung cấp chạy model; bạn quản lý mức dùng và chính sách
Phù hợp quy định	Đơn giản hơn với yêu cầu chủ quyền và lưu trú dữ liệu	Cần rà soát việc chuyển dữ liệu, hợp đồng và thời hạn lưu giữ

Khi nào nên chọn loại nào

Model cloud ổn khi
Dữ liệu không nhạy cảm hoặc che được trước, khối lượng thấp, quy định cho phép, và bạn cần suy luận rộng cho những câu hỏi hiếm và khó.
Model cục bộ hợp nhất khi
Dữ liệu phải ở trong nước hoặc trong toà nhà, khối lượng lớn và đều, mạng bị hạn chế, hoặc chi phí phải dự đoán được.
Nhiều đội kết hợp cả hai
Model cục bộ gánh khối lượng hằng ngày; model frontier chỉ được gọi theo chính sách, trên dữ liệu đã che, cho số ít case thực sự cần.

ApexAI tiếp cận thế nào

ApexAI ưu tiên cục bộ. Nền tảng chạy trên hạ tầng của bạn, các model mặc định cũng chạy ở đó, nên dữ liệu an ninh ở lại với bạn và chi phí không tăng tuyến tính theo token. Các model tiếp tục học từ kết quả đã chốt trong chính môi trường của bạn. Model frontier trên cloud là tuỳ chọn: mặc định tắt, và khi bạn bật, lời gọi đi qua gateway phía máy chủ theo chính sách của bạn, giá trị nhạy cảm được che và có ngân sách giới hạn.

Câu hỏi thường gặp

Model cục bộ có đủ tốt cho vận hành an ninh không?

Với các tác vụ hẹp, lặp lại, vốn chiếm phần lớn việc của model trong SOC, một model nhỏ chuyên biệt có thể làm tốt. Suy luận mở cho những case hiếm là chỗ model frontier lớn vẫn có lợi thế.

Gửi alert lên model cloud có an toàn không?

Tuỳ alert chứa gì, điều khoản của nhà cung cấp và quy định bạn phải tuân theo. Che giá trị nhạy cảm, giới hạn những gì được gửi và ghi lại mọi lời gọi giúp giảm rủi ro; giữ dữ liệu tại chỗ thì tránh được nó.

Vì sao chi phí lại quan trọng đến vậy?

SOC nhận một dòng sự kiện lớn và liên tục. Nếu mọi alert đều đi qua một model tính phí theo lượng dùng, hoá đơn tăng theo khối lượng alert. Model cục bộ biến phần lớn chi phí đó thành chi phí cố định.

Model distillation là gì, và vì sao quan trọng ở đây?

Distillation huấn luyện một model nhỏ hơn để tái tạo câu trả lời của model lớn hơn trên một tác vụ cụ thể. Đó là một cách để có hiệu năng tốt cho tác vụ từ một model đủ nhỏ để chạy cục bộ.

Xem ApexAI chạy trên chính cảnh báo của bạn.

Một buổi trình diễn với đội của bạn, bắt đầu ở chế độ quan sát: ApexAI chấm điểm và đề xuất, không tự hành động.

Đăng ký demo Năng lực