Lokale KI
LLama.cpp mit AMD Radeon 560: Eine technische Reise zu 96K Kontext bei 16 Tokens pro Sekunde
96k Kontext bei 16 Tokens pro Sekunde auf einer AMD Radeon 560 mit 4 GB VRAM: was ich ausprobiert habe, was scheiterte und welche Einstellungen am Ende liefen.
4 min read Weiterlesen