RanzigFettreduziert@feddit.org to ich_iel@feddit.org · 4 days agoich👨💻ielfeddit.orgimagemessage-square33linkfedilinkarrow-up196arrow-down18file-text
arrow-up188arrow-down1imageich👨💻ielfeddit.orgRanzigFettreduziert@feddit.org to ich_iel@feddit.org · 4 days agomessage-square33linkfedilinkfile-text
minus-squarelmuel@sopuli.xyzlinkfedilinkEnglisharrow-up14·3 days agoMein lokales LLM, welches bekanntlich immer Recht hat, sagt folgendes dazu:
minus-squaresobanto@feddit.orglinkfedilinkarrow-up3·3 days agoWas verwendest du lokal? Und was für Hardware?
minus-squarehoshikarakitaridia@lemmy.worldlinkfedilinkarrow-up3·3 days agoSieht aus nach open webui Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
minus-squarelmuel@sopuli.xyzlinkfedilinkEnglisharrow-up4·3 days agoRichtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen. Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.
Mein lokales LLM, welches bekanntlich immer Recht hat, sagt folgendes dazu:
Was verwendest du lokal? Und was für Hardware?
Sieht aus nach open webui
Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
Richtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen.
Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.