PLEN– English Sprawdź swój sprzęt
Wszystkie karty

Zmierzone na tej karcie

AMD Radeon RX 7900 XTX

24 GB · RDNA3 gfx1100 · 960 GB/s

Qwen3.8-27B UD-Q4_K_XL: generowanie tokenów

Typowa aplikacja 35,9 Nasz silnik 114,8 t/s szybciej 3,2×
Model
Qwen3.8-27B UD-Q4_K_XL
Plik
17,6 GB
Pamięć zajęta
22,8 GB / 24 GB
Odpowiedź na 500 słów
37,5 s → 11,7 s
Pamięć
24GB
Przepustowość
960GB/s
Limit mocy
303W
Architektura
RDNA3 gfx1100

Co się mieści

24 GB pamięci. Każdy blok to model załadowany przez nasz silnik, z kontekstem i pamięcią podręczną KV.

Qwen3.8-27B UD-Q4_K_XL
plik 17,6 GB zajęte 22,8 GB
LFM2.5-24B Q5_K_M
plik 17,0 GB

Modele na tę kartę

Wszystkie zmierzone modele, które mieszczą się w pamięci karty. Najlepszy pierwszy.

  1. Qwen3.8-27B

    UD-Q4_K_XL 17,6 GB Licencja: Apache 2.0: wolno używać komercyjnie

    Polecany na tę kartę

    Szybkość pisania

    3,2× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Edycja kodu (ten sam skrypt, T=0, 4 pliki): typowa aplikacja 35,5 t/s, najlepsze flagi 89,0 t/s, nasz silnik 419,7 t/s. Bez spekulacji (llama-bench tg128): 35,3 → 43,4 t/s.

    Typowa aplikacja 35,9 t/s
    Najlepsze flagi 60,0 t/s
    Nasz silnik 114,8 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA (drugi przebieg w granicach ±0,2 t/s)

    Odpowiedź na 500 słów

    wyliczone z t/s × tokeny na słowo × 2.69 tok/słowo (raport 06 §2.1.2) × 1.17 tok/słowo (raport 06 §2.1.2)

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 35,9 t/s, Nasz silnik: 114,8 t/s. spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA (drugi przebieg w granicach ±0,2 t/s)

    Warunki

    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA (drugi przebieg w granicach ±0,2 t/s)

    • ROCm
    • ten sam serwer i skrypt po obu stronach
    • spekulacja MTP (najlepsze flagi i nasz silnik)
    • kontekst 200k (n_ctx 204800)
    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA (drugi przebieg w granicach ±0,2 t/s)

    O modelu

    Gęsty model 27B z hybrydową atencją (Gated DeltaNet + pełna atencja) i wbudowaną głowicą MTP, która zgaduje kilka tokenów naprzód.

    Na tej karcie powstał nasz silnik: Qwen ze spekulacją MTP pisze 114,8 t/s, 3,2× szybciej niż typowa aplikacja.

    • czat
    • kod
    • jakość
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)app/landing/src/lib/data/models.json (raport 04 §2.3.1)
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik

    Czas kroku: z MTP krok trwa dłużej, ale zatwierdza kilka tokenów naraz · Prefill 4096: czytanie promptu, tokeny na sekundę

    • Czas kroku

      27,9 27,7 ms

      ≈ bez zmian

    • Prefill 4096

      1056 1126 t/s

      ↗ lepiej

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

  2. LFM2.5-24B-A2B

    Q5_K_M 17,0 GB Licencja: LFM Open License v1.0: komercyjnie tylko poniżej 10 mln USD rocznego przychodu

    Szybkość pisania

    1,7× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Typowa aplikacja 169,3 t/s
    Nasz silnik 289,7 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · llama-bench tg128 (generowanie 128 tokenów), ten sam skrypt po obu stronach. Przez serwer nasz silnik: 293,7 t/s.

    Odpowiedź na 500 słów

    wyliczone z t/s × tokeny na słowo × 2.69 tok/słowo (raport 06 §2.1.2) × 1.17 tok/słowo (raport 06 §2.1.2)

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 169,3 t/s, Nasz silnik: 289,7 t/s. llama-bench tg128 (generowanie 128 tokenów), ten sam skrypt po obu stronach. Przez serwer nasz silnik: 293,7 t/s.

    Warunki

    llama-bench tg128 (generowanie 128 tokenów), ten sam skrypt po obu stronach. Przez serwer nasz silnik: 293,7 t/s.

    • ROCm
    • bez spekulacji
    • KV q4_0 (upstream) i q8_0 (nasz, o 2,6% wolniejszy)
    llama-bench tg128 (generowanie 128 tokenów), ten sam skrypt po obu stronach. Przez serwer nasz silnik: 293,7 t/s. ;

    O modelu

    Mieszanka ekspertów (MoE): 24B parametrów, około 2B aktywnych na token. Dlatego pisze kilka razy szybciej niż model gęsty.

    • szybkość
    • czat
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)app/landing/src/lib/data/models.json (raport 04 §2.3.1)
    Wszystkie pomiary

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

Co dalej

Porównaj z inną kartą Sprawdź swój sprzęt

Zmierzone karty