Model domenowy czy LLM (ChatGPT)? Koszt, trafność, szybkość i bezpieczeństwo danych
Prywatny, dedykowany model domenowy wygrywa w powtarzalnych zadaniach firmy, takich jak klasyfikacja, ekstrakcja danych czy scoring. Według wewnętrznych badań Coblit w zadaniach, do których jest trenowany, osiąga 95–100% trafności i odpowiada w ok. 100 ms, ma stały koszt i może działać w pełni on-premise. Ogólny LLM (np. ChatGPT) jest lepszy do swobodnych rozmów i tekstów na dowolny temat — ale kosztuje za tokeny, odpowiada w 2–3 s i w wąskich zadaniach trafia w 60–70% przypadków.
Krótka odpowiedź
Jeśli AI ma wykonywać w firmie jedno powtarzalne zadanie — ocenić przetarg, przeczytać dokument, sklasyfikować zgłoszenie, nadać scoring — lepszy jest prywatny, dedykowany model domenowy trenowany na danych firmy. Jeśli potrzebujesz asystenta do swobodnych tekstów i rozmów na dowolny temat, wystarczy ogólny LLM, np. ChatGPT.
Porównanie: prywatny, dedykowany model domenowy Coblit a ogólny LLM
Poniższe liczby pochodzą z wewnętrznych badań Coblit i dotyczą zadań, do których model domenowy jest budowany i trenowany. Nie są to wartości uniwersalne dla każdego zastosowania AI.
| Model domenowy Coblit | Ogólny LLM | |
|---|---|---|
| Koszt | Niski | Wysoki |
| Rodzaj kosztu | Stały | Zmienny — za użycie (tokeny) |
| Trafność | Wysoka: 95–100% | Niska: 60–70% |
| Czas odpowiedzi | Niski: ok. 100 ms | Wysoki: 2–3 s |
| Marża na procesie / produkcie z AI | Wysoka | Niska |
| Infrastruktura | W pełni on-premise | Dane przesyłane do chmury |
| Dane | Bez przesyłania do chmury | Przesyłane do chmury |
| Błędy i halucynacje | Nie halucynuje w swojej dziedzinie | Błędy i halucynacje |
Dlaczego model domenowy nie halucynuje w swojej dziedzinie?
Ogólny LLM generuje swobodny tekst, więc gdy nie zna odpowiedzi, potrafi ją „dopowiedzieć”. Model domenowy działa inaczej: odpowiada tylko w zadaniu, do którego został zbudowany — klasyfikacji, ekstrakcji danych czy scoringu na danych klienta — i nie generuje swobodnego tekstu poza nim. Nie ma więc pola, żeby wymyślić odpowiedź spoza swojej dziedziny.
Koszt stały a koszt za tokeny — co to znaczy dla marży
Ogólny LLM rozlicza każde zapytanie w tokenach. Im więcej dokumentów, klientów czy decyzji obsługuje AI, tym wyższy rachunek — i tym mniejsza marża na procesie lub produkcie, który na tym AI stoi. Model domenowy ma stały koszt, więc wzrost wolumenu nie zjada marży.
Kiedy ogólny LLM wystarczy
- piszesz teksty, maile, podsumowania i potrzebujesz pomysłów,
- zadania są różnorodne i trudno je zamknąć w jednej kategorii,
- skala jest mała, więc opłaty za tokeny nie mają znaczenia,
- dane mogą wyjść poza firmę.
Kiedy wygrywa model domenowy
- to samo zadanie powtarza się setki lub tysiące razy (klasyfikacja, ekstrakcja, scoring),
- liczy się trafność i brak wymyślonych odpowiedzi,
- liczy się szybkość — odpowiedź w ok. 100 ms zamiast 2–3 s,
- AI jest częścią produktu lub procesu, w którym ważna jest marża,
- dane nie mogą trafić do chmury — wtedy model działa w pełni on-premise.
Jak robi to Coblit
- Analiza danych i zadania — ustalamy, co dokładnie ma robić model i jak zmierzymy trafność.
- Prywatny, dedykowany model domenowy — budujemy go na danych klienta do tego jednego zadania.
- Wdrożenie — na serwerach i zasobach klienta (on-premise) albo, jeśli klient woli, w chmurze. Mamy do tego specjalistów.
- Utrzymanie — monitoring, douczanie na nowych danych i rozwój o kolejne zadania.
Wycenę i czas wdrożenia ustalamy indywidualnie. Najprościej zacząć od pilotażu AI na jednym procesie.
Przykład: model dedykowany do przetargów
Dla międzynarodowej firmy farmaceutycznej zbudowaliśmy system AI do analizy przetargów z modelem uczonym wyłącznie na danych klienta. Model ocenia dopasowanie przetargów do oferty firmy, a czynności, które wymagały ponad 10 osób, wykonują dziś 3 osoby.
Więcej o tym, jak działają nasze modele: Prywatne modele AI oraz Prywatny model AI czy ChatGPT?.