Nvidia PAIR łączy domowe GPU w klaster AI i podwaja szybkość agentów

Nowe, darmowe narzędzie od Nvidii o nazwie PAIR — Personal AI Router — kieruje zadania agentów AI pomiędzy wieloma komputerami w Twojej domowej sieci, traktując kolekcję pecetów do gier, stacji roboczych, a nawet Maców jako jeden, zunifikowany klaster inferencyjny. Pomysł jest prosty: większość komputerów obciążonych AI stoi bezczynnie przez większość czasu, a lokalne obciążenia AI są w coraz większym stopniu budowane wokół agentów, którzy jednocześnie tworzą dziesiątki niezależnych podzadań. PAIR łączy te wolne cykle.

Oprogramowanie działa jako przezroczysty proxy na bazie Ollamy i LM Studio, dwóch najpopularniejszych lokalnych narzędzi do inferencji, więc istniejące konfiguracje nie wymagają żadnych zmian w kodzie. Po zainstalowaniu na każdej maszynie PAIR używa mDNS — tego samego protokołu, dzięki któremu Twoja drukarka pojawia się w sieci — aby automatycznie wykrywać kompatybilne urządzenia. Główny agent wysyła swoją pracę jak zwykle, a PAIR decyduje, która maszyna zajmie się którym podzadaniem, na podstawie modeli dostępnych na każdej z nich. Nie jest wymagana identyczna konfiguracja na wszystkich maszynach: pecet do gier z Llama 3.3 i laptop z Mistralem mogą współpracować przy tym samym zadaniu.

Opublikowany przez Nvidię benchmark pokazuje różnicę w praktyce: zadanie z pięcioma podagentami, które na pojedynczym laptopie RTX Spark zajęło 18 minut, na trójurządzeniowym klastrze zostało ukończone w 8 minut i 48 sekund. To mniej więcej dwukrotne przyspieszenie bez dotykania linijki kodu i bez płacenia za chmurę obliczeniową. Zysk skaluje się wraz z liczbą maszyn i charakterem obciążenia — najbardziej zyskują zadania, które rozpadają się na wiele równoległych części.

Prywatność to drugi atut sprzedażowy, i to ten trwalszy. Każdy prompt, plik i element kontekstu agenta pozostaje w Twojej domowej sieci. Nic nie jest kierowane do chmurowej usługi inferencyjnej; nie ma klucza API, żadnego mierzenia użycia ani firmy, która otrzymywałaby Twoje zapytania. Dla każdego, kto uruchamia agentów na wrażliwych dokumentach — projektach prawnych, notatkach medycznych, osobistej korespondencji — ta różnica znaczy więcej niż liczby z benchmarków.

Zastrzeżenia są realne. PAIR nie oferuje gwarantowanej jakości usługi: jeśli maszyna, na którą liczyłeś, obudzi swoje GPU do gry lub eksportu wideo, PAIR przenosi to obciążenie na cokolwiek innego, co jest dostępne. Narzędzie jest otwarcie zaprojektowane do długotrwałych zadań z elastycznym terminem, a nie do aplikacji, w których opóźnienie musi być przewidywalne. To także oprogramowanie w wersji beta. Nvidia kieruje tę propozycję do entuzjastów mających co najmniej jedną kompatybilną maszynę — kartę GeForce RTX z serii 20 lub nowszą, albo układ Apple z serii M4 — i oczekuje, że już wiedzą, jak obsługiwać Ollamę.

PAIR jest darmowy, open-source i dostępny w wersji beta już teraz na Windows, macOS i Linuxie. Nvidia nie ogłosiła mapy drogowej dla gwarancji QoS ani daty stabilnego wydania. Praktycznym minimum do skorzystania z narzędzia są dwie maszyny z wydajnym sprzętem, co wyklucza większość konfiguracji z jednym komputerem. Dla użytkowników, którzy już uruchamiają Ollamę na więcej niż jednym urządzeniu w domu, próg wejścia jest na tyle niski, że warto spróbować.

Tagi: nvidia, Open Source, lokalne AI, agenty AI, Ollama, PAIR