Für ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und für 70b brauchst du halt 40GB. Für viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.
Für ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und für 70b brauchst du halt 40GB. Für viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.