#ollama#kontekst
Ollama nie ma stałego okna 4096 tokenów
Okno kontekstu jest negocjowane przy każdym ładowaniu modelu, a nie zapisane w konfiguracji. Ten sam model dostał 8192 i 32768 tego samego dnia.
Notatki
Co zmierzyłem, a co tylko zakładałem
Krótkie ustalenia z pracy nad kodem — najczęściej takie, które nie mieszczą się w toku odcinka, bo go rozbijają. Każda liczba pochodzi z uruchomienia, nie z dokumentacji i nie z pamięci.