PLEN– English Sprawdź swój sprzęt

Animacja: Radeon RX 7900 XTX, Qwen3.8-27B UD-Q4_K_XL. Ta sama odpowiedź (500 tokenów) pisana bez przerwy w zmierzonym tempie: typowa aplikacja 35,9 tokenu na sekundę, nasz silnik 114,8 tokenu na sekundę. Nasz silnik kończy ją w 4,4 s, typowa aplikacja w 13,9 s. Ten sam skrypt pomiarowy po obu stronach.

Ten sam sprzęt. Ten sam model. Po prostu szybciej.

Sprawdź swoją kartę

Radeon RX 7900 XTX · Qwen3.8-27B UD-Q4_K_XL · ten sam skrypt pomiarowy po obu stronach (ABBA) · odpowiedź 500 tokenów, tekst przykładowy, tempo zmierzone

Trzy kroki. Każdy zmierzony.

01Skan

Najpierw czytamy Twoją kartę.

Lokalnie, bez uprawnień administratora i bez wysyłania czegokolwiek. Z tego dobieramy model.

Skan karty z naszego labu, Sapphire PULSE Radeon RX 7900 XTX: układ Navi 31 (gfx1100), sterownik ROCm 10.0 (HIP), 24 GB pamięci GDDR6 na szynie 384-bit, przepustowość 960 GB/s, domyślny limit mocy 303 W. Polecany model: Qwen3.8-27B UD-Q4_K_XL.

02Dobór

Model, który naprawdę się mieści.

Liczymy pamięć z kontekstem i buforami, nie tylko rozmiar pliku. Za duży model odpada od razu.

pasuje nasz silnik zajmuje 22,8 GB / 24 GB
nie pasuje ten sam model w Q8_0 · 29,1 GB > 24 GB
Qwen3.8-27B UD-Q4_K_XL 17,6 GB · plik modelu

Radeon RX 7900 XTX: 24 GB VRAM. Qwen3.8-27B UD-Q4_K_XL: plik modelu 17,6 GB, nasz silnik zajmuje 22,8 GB — pasuje. ten sam model w Q8_0: 29,1 GB — nie pasuje.

03Przyspieszenie

Trzy ustawienia. Nasz silnik najszybszy.

Ten sam model, ta sama karta, ten sam skrypt pomiaru. Każdy słupek to osobny pomiar.

  1. Typowa aplikacja llama.cpp z ustawieniami domyślnymi : 42,9 tokenów na sekundę
  2. Najlepsze flagi + MTP upstream llama.cpp, spekulacja MTP : 75,3 tokenów na sekundę, 1,8× wobec typowej aplikacji
  3. Nasz silnik lżejszy draft i własne kernele : 93,3 tokenów na sekundę, 2,2× wobec typowej aplikacji
2,2× szybciej niż typowa aplikacja 1,2× wobec najlepszych flag upstreamu Qwen3.8-27B · GeForce RTX 3090 · t/s

Każda para zmierzona tym samym skryptem.

Typowa aplikacja i nasz silnik, ta sama karta i ten sam plik modelu.

Wszystkie wyniki i szczegóły

t/s · typowa aplikacja → nasz silnik · paski: przyspieszenie (typowa = 1×)

  • LFM2.5-24B 3090 180,2 263,9 1,5×
  • Qwen3.8-27B 3090 42,9 93,3 2,2×
  • LFM2.5-24B 7900 XTX 169,3 289,7 1,7×
  • Qwen3.8-27B 5060 Ti 28,1 51,7 1,8×
  • LFM2.5-24B 5060 Ti 147,7 207,9 1,4×
  • Nemotron 74B 3090 87,2 141,1 1,6×

Z 35,9 do 114,8 t/s. 3,2× szybciej, ta sama karta.

Qwen3.8-27B · Radeon RX 7900 XTX · czat · tokeny na sekundę · każdy krok tym samym skryptem pomiaru

  1. Typowa aplikacja upstream llama.cpp, ustawienia domyślne : 35,9 t/s
  2. Najlepsze flagi + MTP upstream llama.cpp z własną spekulacją : 60,0 t/s
  3. Nasz silnik, 12.10 pierwsza wersja
    • Własne kernele pod RDNA3
    : 74,5 t/s
  4. Nasz silnik, 15.10 wydanie produkcyjne
    • Mniej uruchomień i fuzje
    • Szybszy sampler i host
    • Sprytniejsza spekulacja MTP
    : 109,0 t/s
  5. Nasz silnik dziś 19.10
    • Stabilny replay poleceń PM4
    • Weryfikacja na GPU
    : 114,8 t/s

Ten sam model,ta sama jakość.

Nasz silnik zmienia odpowiedzi modelu tyle, co szum samego llama.cpp. Zmiana formatu modelu to różnica ok. 310× większa.

Underdog Saluki 27B: nasz silnik wobec llama.cpp 0,00065, llama.cpp wobec samego siebie 0,00061; Ternary Bonsai 2 27B: nasz silnik wobec llama.cpp 0,00032, llama.cpp wobec samego siebie 0,00021. zmiana formatu modelu (QAD-Q4_0): 0,203.

Jak to mierzymy

Skala liniowa. Miara: KLD, czyli o ile różnią się prawdopodobieństwa kolejnego słowa (0 = identycznie). Szum llama.cpp: ten sam llama.cpp z inną wielkością paczki (ubatch 256 i 512). Saluki i Bonsai mierzone na GeForce RTX 3060 12 GB; zmiana formatu to inny model (LFM2.5 na GeForce RTX 5060 Ti 16 GB), pokazany dla skali.

Przyspieszenia nie zmieniają tekstu

Włączone czy wyłączone, dają przy wyborze zachłannym ten sam tekst, bit w bit (testy md5). Od llama.cpp różni nas tylko kolejność części mnożeń, na poziomie szumu; stąd KLD.

  • spekulacja
  • weryfikacja na GPU
  • odtwarzanie PM4

Zmierzone, karta po karcie.

Każda karta ma swoją stronę: modele, które się mieszczą, wyniki i warunki pomiaru.

  • NVIDIA GeForce RTX 24 GB

    3090

    2,2×

    Ampere sm_86 szybciej

    Typowa aplikacja 42,9

    Nasz silnik 93,3 t/s

    Qwen3.8-27B

  • NVIDIA GeForce RTX 16 GB

    5060 Ti

    1,8×

    Blackwell sm_120 szybciej

    Typowa aplikacja 28,1

    Nasz silnik + profil karty 51,7 t/s

    Qwen3.8-27B

  • NVIDIA GeForce RTX 12 GB

    3060

    1,6×

    Ampere sm_86 szybciej

    Typowa aplikacja 24,0

    Nasz silnik 38,2 t/s

    Saluki 27B

  • NVIDIA GeForce RTX 16 GB

    4060 Ti

    1,9×

    Ada sm_89 szybciej

    Typowa aplikacja 18,6

    Nasz silnik 35,4 t/s

    Qwen3.8-27B

  • AMD Radeon RX 24 GB

    7900 XTX

    3,2×

    RDNA3 gfx1100 szybciej

    Typowa aplikacja 35,9

    Nasz silnik 114,8 t/s

    Qwen3.8-27B

Na kafelkach: polecany model karty albo, gdy nie ma dla niego porównania tym samym skryptem, pierwszy model, który je ma. Nasz silnik wobec typowej aplikacji; warunki są na stronach kart.

Otwórz eksplorator kart

Skan działa na Twoim komputerze. Rozmowy nigdy go nie opuszczają.

Skan czyta tylko specyfikację sprzętu i sam niczego nie wysyła. Wynik to zwykły tekst: widzisz każde pole.

Zobacz, co czyta skan

Twoja karta może więcej.

Sprawdź, ile z niej wyciśniemy. Bez zmiany modelu.

GeForce RTX 3090, Qwen3.8-27B UD-Q4_K_XL: ta sama odpowiedź płynie bez Enigma LABZ z prędkością 42,9 tokenu na sekundę, a z Enigma LABZ 93,3 tokenu na sekundę.

GeForce RTX 3090 · Qwen3.8-27B UD-Q4_K_XL tekst przykładowy, tempo zmierzone
Sprawdź swoją kartę

Zanim zapytasz.

Czy to inny model niż ten, który znam?

Nie. Używamy tych samych plików modelu (GGUF) co inne aplikacje i przyspieszamy silnik, który je uruchamia. Nasze wyjście nie jest bit w bit identyczne z upstream, dlatego jakość sprawdzamy miarą KLD; mieści się w szumie samego upstreamu.

Czy działa na kartach NVIDIA?

Tak. Mamy pomiary na kartach NVIDIA i AMD, każdy z warunkami i źródłem. Lista kart z wynikami jest w eksploratorze kart, a kolejne czekają w kolejce pomiarów.

Ile przyspieszy na moim komputerze?

To zależy od karty i modelu. Na GeForce RTX 3090 z Qwen3.8-27B zmierzyliśmy 2,2×; na słabszych kartach z małymi modelami zysk bywa niewielki. Dla kart bez pomiaru pokazujemy szacunek z naszego wzoru, zawsze oznaczony jako szacunek.

Co wysyłacie na swój serwer?

Domyślnie nic. Skan i rozmowy działają lokalnie. Udostępnienie wyniku do bazy profili to osobna zgoda, domyślnie wyłączona, z podglądem danych.

Dlaczego tokeny, a nie słowa?

Silniki liczą tokeny. Po polsku jedno słowo to średnio 2,69 tokenu, po angielsku 1,17, dlatego przy czasie odpowiedzi podajemy też słowa.

Czy to działa na Windowsie?

Projektujemy na Windows, Linux i macOS, ale dziś mierzymy na Linuksie. Na Windowsie wyniki mogą się różnić; pokażemy je, gdy je zmierzymy.