AI Server
Prywatna platforma AI dla zespołów. Jeden serwer uruchamia modele — każda aplikacja i każde urządzenie po prostu z nich korzysta. AI Server udostępnia czat, osadzenia (embeddings), generowanie obrazów, mowę i wizję z Twojego własnego sprzętu, przez API zgodne z OpenAI, całemu pakietowi AI Suite i dowolnemu zgodnemu narzędziu.
Zacznij za darmo na własnej maszynie. Gdy zespół rośnie, obsłuż swoją sieć; gdy jedna maszyna to za mało, tryb AI Gateway zmienia kilka serwerów w jeden punkt końcowy z równoważeniem obciążenia — w Twojej sieci LAN, w Dockerze lub na Kubernetes. Na żadnym etapie żadnej chmury dostawcy w ścieżce danych.
Pobierz w Microsoft Store Zobacz, co potrafi ↓ Licencje i ceny
Jedno wdrożenie napędza wszystko
Bez serwera każdy komputer pobiera własne modele, potrzebuje własnego GPU oraz jest konfigurowany i aktualizowany osobno. Z AI Server modele pobierasz raz, działają na najlepszym sprzęcie, jaki masz, i obsługują wszystkich.
Uniwersalne API AI
Punkty końcowe zgodne z OpenAI dla czatu, osadzeń, generowania obrazów, mowy na tekst (w tym strumieniowania na żywo), tekstu na mowę, klonowania głosu i wizji — wszystko udostępniane z Twojego sprzętu. Skieruj na nie dowolne zgodne narzędzie lub własny kod.
Napędza cały pakiet AI Suite
Każda aplikacja AI Suite wykrywa serwer i przekazuje mu swoją pracę AI — bez żadnej konfiguracji. Notatki, pliki PDF, tłumaczenie, dyktowanie, obrazy, poczta i więcej — wszystkie korzystają z jednego zestawu modeli na jednej maszynie.
Wbudowane zarządzanie
Klucze API z planami dla każdego klucza, limity szybkości, przydziały i budżety, analityka użycia według aplikacji i modelu oraz pozbawione treści dzienniki audytu z podpisanym eksportem. Kontrole, których oczekuje IT, bez dostawcy chmury w obiegu.
Skaluje się z AI Gateway
Przełącz jeden przełącznik, a wiele serwerów staje się jednym punktem końcowym: równoważenie obciążenia z kontrolą stanu, routing świadomy modelu, który preferuje maszyny z już rozgrzanym modelem, wdrożenia canary i aktualizacje bez przestojów.
Działa wszędzie
Aplikacja desktopowa na maszynę pod biurkiem; kontenery, manifesty Kubernetes i chart Helm na szafę serwerową lub chmurę. Ten sam produkt, te same API, ta sama licencja — od jednego laptopa po farmę GPU.
Obserwowalny z założenia
Każdy serwer udostępnia własny pulpit na żywo oraz natywne metryki Prometheus: kondycja floty, opóźnienie, użycie i przepustowość na pierwszy rzut oka — bez dodatkowego stosu monitoringu na start.
Od jednego serwera do farmy — bez zmiany choćby jednego klienta
AI Gateway to AI Server działający w trybie frontonu farmy. Klienci łączą się z nim dokładnie tak, jakby był pojedynczym AI Server; za nim pula serwerów roboczych (workerów) wykonuje właściwą inferencję. Dodaj maszynę, a przepustowość rośnie; wyłącz jedną na czas konserwacji, a ruch płynnie się wycofuje — niczyje żądanie nie zostaje odrzucone.
Na Kubernetes workery są wykrywane automatycznie w miarę skalowania, więc farma z autoskalowaniem nie wymaga ręcznych zmian puli. Cała infrastruktura pozostaje obserwowalna z wbudowanego pulpitu i metryk Prometheus.
Czym Gateway zajmuje się za Ciebie
- Równoważenie obciążenia — karuzelowe, najmniejsze opóźnienie, najmniej połączeń, ważone lub przypięte do klienta.
- Routing świadomy modelu — żądania trafiają do maszyny, która ma już rozgrzany żądany model.
- Przełączanie awaryjne — niesprawny worker jest ponawiany na sprawnym, zanim klient cokolwiek zauważy.
- Wdrożenia canary — wysyłaj stały wycinek ruchu do nowych maszyn, zanim w pełni im zaufasz.
- Przeciwciśnienie (backpressure) — gdy każdy worker jest nasycony, wywołujący dostają uczciwe „spróbuj wkrótce ponownie” zamiast przekroczenia limitu czasu.
- Aktualizacje bez przestojów — opróżnij workera, zaktualizuj go i zwróć do puli.
Zacznij za darmo. Rośnij wraz z zespołem.
Poziom darmowy to prawdziwy produkt, a nie wersja próbna: pełny lokalny serwer AI dla wszystkich aplikacji AI Suite na Twojej własnej maszynie, na zawsze. Poziomy płatne zaczynają się dokładnie tam, gdzie wartość przekracza granice maszyny.
Darmowy
Pełny lokalny serwer AI na Twojej własnej maszynie. Nieograniczone użycie przez każdą aplikację AI Suite na tej maszynie; ogólni klienci zgodni z OpenAI mają ograniczoną szybkość.
Pro Personal
Obsłuż własne urządzenia w swojej sieci: udostępnianie w LAN, uruchamianie jako usługa systemu, klucze API dla laptopa i telefonu, nieograniczeni klienci ogólni oraz mała pula bramy.
Pro Commercial
Obsługuj innych: użycie komercyjne, nieograniczone klucze API, pełne zarządzanie (przydziały, budżety, podpisywanie audytu) oraz produkcyjna farma bramy z wdrożeniami canary i automatycznym wykrywaniem workerów.
Enterprise
Nieograniczone środowiska, rejestracja organizacji za pomocą AI Admin Console, praca offline i w trybie odizolowanym od sieci oraz wsparcie priorytetowe. Licencja na środowisko — porozmawiaj z nami.
Zainstaluj aplikację bezpłatnie z odpowiedniego sklepu. Bezpośrednia subskrypcja Personal lub Commercial obejmuje jeden klucz produktu działający na każdej obsługiwanej platformie.
Jedna prywatna platforma AI, wiele wzorców wdrożenia
Scentralizuj kosztowne modele i ład, a zespoły zachowają znane aplikacje i narzędzia zgodne z OpenAI.
Biuro i zespoły wiedzy
Udostępniaj zatwierdzone modele czatu, tłumaczeń, redakcji, RAG dokumentów, obrazu i mowy z jednej zarządzanej maszyny zamiast każdego stanowiska.
Przeczytaj wzorzec wdrożenia →Obciążenia regulowane i wrażliwe
Daj AI zespołom prawnym, medycznym, finansowym, publicznym i badawczym, utrzymując prompty, pliki, dostęp i audyt w wybranej granicy.
Przeczytaj wzorzec wdrożenia →Programiści i wewnętrzna platforma API
Połącz aplikacje zgodne z OpenAI, agentów i testy CI z wewnętrznym endpointem. Zespół platformy kontroluje modele i moc bez klucza dostawcy w każdym projekcie.
Przeczytaj wzorzec wdrożenia →Oddziały, failover i farmy GPU
Umieść AI Gateway przed rozproszonymi workerami, aby uzyskać routing wg stanu, preferencję ciepłych modeli, kroczącą konserwację i skalowanie bez zmian klientów.
Przeczytaj wzorzec wdrożenia →Zaplanuj pierwsze wdrożenie wokół jednego rzeczywistego procesu
Potwierdź użyteczność i granicę prywatności na jednej maszynie, zanim dodasz użytkowników, zasady lub farmę serwerów.
1. Wybierz obciążenie
Wybierz jedno ograniczone zadanie, np. prywatny czat, pytania do dokumentów, tłumaczenie lub transkrypcję, oraz osoby, które je ocenią.
2. Dopasuj sprzęt
Dobierz model i maszynę do oczekiwanego kontekstu, czasu odpowiedzi i liczby jednoczesnych użytkowników. Najpierw zweryfikuj CPU, a GPU dodaj, gdy wymaga tego obciążenie.
3. Sprawdź granicę
Potwierdź dozwolone klienty, modele, logi i trasy sieciowe. Utrzymuj polecenia i pliki w wybranej granicy.
4. Dodawaj kontrolę wraz ze wzrostem
Przejdź do udostępniania sieciowego, kluczy API i limitów, a następnie zarejestruj środowisko w AI Admin Console lub dodaj węzły AI Gateway, gdy uzasadni to popyt.
Certyfikowane wdrożenie dla Azure i AWS
AI Server jest dostępny jako bezpłatna aplikacja Kubernetes/BYOL w Microsoft Marketplace i AWS Marketplace. Infrastrukturę rozlicza dostawca chmury; ta sama licencja AI Server Commercial lub Enterprise aktywuje bramę i workery.
Microsoft Azure
Zainstaluj certyfikowaną aplikację Kubernetes w istniejącym klastrze AKS. Zacznij od węzła CPU do walidacji, a następnie dodaj workery NVIDIA GPU do rzeczywistych obciążeń.
Znajdź w Microsoft MarketplaceAmazon Web Services
Wdróż pakiet Helm z AWS Marketplace w Amazon EKS. Mała pula węzłów systemowych i osobne workery GPU stabilizują usługi klastra i ułatwiają skalowanie.
Znajdź w AWS MarketplaceTwoje prompty nigdy nie opuszczają Twojej sieci — bo nie mają dokąd pójść
AI Server nie jest serwerem proxy do chmurowego API. Modele działają na Twoim sprzęcie; żądania podróżują z Twoich aplikacji do Twojego serwera i z powrotem, w obrębie Twojego perymetru. Praca offline i w trybie odizolowanym od sieci to obsługiwane tryby wdrożenia, a nie specjalne wyjątki.
- Żadnej chmury dostawcy w ścieżce danych. Prompty, dokumenty i wygenerowana treść pozostają między Twoimi klientami a Twoim serwerem.
- Zapisy pozbawione treści. Analityka użycia i dzienniki audytu odnotowują, kto co i kiedy wywołał — nigdy tekstu promptu ani odpowiedzi.
- Licencjonowanie odporne na awarie. Jeśli nasza usługa licencji kiedykolwiek będzie niedostępna, Twoja licencjonowana flota nadal działa. Twoja dostępność nie zależy od naszej.
- Twoje klucze, Twoje zasady. Klucze API wydajesz i unieważniasz Ty, na swoim serwerze — a nie konta w cudzej chmurze.
Pytania o AI Server lub AI Gateway?
W sprawie pomocy przy wdrożeniu, doradztwa co do rozmiaru, pytań o Kubernetes lub licencjonowania napisz na [email protected] — albo użyj formularza kontaktowego i wybierz „Produkt”.