Ein Lob auf die KI |
| 24.04.2025, 16:21 | Elvis | Auf diesen Beitrag antworten » |
| Ein Lob auf die KI |
||
| 24.04.2025, 18:28 | HAL 9000 | Auf diesen Beitrag antworten » |
Für solche Recherchezwecke ist die KI natürlich wie gemacht, und bisweilen mag sie sogar mathematisch fachlich zu überraschen. Aber wie ich im verlinkten Thread schon geschrieben hatte: Von einer kritiklosen Übernahme der angebotenen Lösungen ist nach wie vor abzuraten. |
||
| 04.05.2025, 12:29 | Finn_ | Auf diesen Beitrag antworten » |
Diese Woche bin ich in LocalLLM eingestiegen. Die technische Entwicklung schreitet so rasant voran, dass die KI mittlerweile auf lokaler Hardware läuft. Auf meinem Setup Core i3-2350M, 4 Kerne, 4 GB RAM läuft via ollama das Denkmodell qwen3:0.6b mit 5.5 Token/Sekunde, und gemma3:1b mit 6.3 Token/Sekunde, die Quantisierung jeweils Q4_K_M. Auf Reddit r/LocalLLaMA berichten sie, dass man das beste Setting wohl mit qwen3:30b und Hardwareupgrade auf so einen bunt leuchtenden Tower mit RTX 3090 bekommt. Da sollen dann 70 Token/Sekunde rauskommen, bei einem Modell, das fast o3-mini und DeepSeek R1 tackelt, für deren Betrieb man mehrere von diesen sündhaft teuren H100-Grafikkarten bräuchte. Umso mehr ich mich mit diesen Modellen beschäftige, umso weniger traue ich ihren Antworten, umso argwöhnischer werde ich. Wenngleich ich sämtliche Antworten vor ernsthafter Nutzung der Informationen verifiziere, ist es ja bspw. denkbar, dass die Modelle mir Verzerrungen unterjubeln, die sich unbemerkt im Unterbewusstsein festsetzen. Geoffrey Hinton hält das Veröffentlichen der Modellparameter übrigens für bedenklich, weil damit dem vergleichsweise mühelosen Nachtrainieren für dubiose Anwendungen Tür und Tor geöffnet wird. Die Büchse der Pandora steht also quasi bereits offen. |
||
| 21.05.2025, 00:23 | Finn_ | Auf diesen Beitrag antworten » |
Kurzer Folgebericht. Selbst so eine Consumer-Grafikkarte ist nicht mehr unbedingt erforderlich. Auf einem günstigen Notebook mit Core i5-13420H und 16 GB RAM läuft Qwen3-30B dank der MoE-Technik vernünftig mit 13 bis 16 Token/Sekunde, wenn man eine spezielle 3 Bit-Quantisierung von unsloth verwendet. Wenn ich es richtig verstanden habe, soll diese inhomogen sein, also für Kognition wichtigere Abschnitte in feinerer Quantisierung belassen. Ollama lädt das Modell automatisch von Huggingface, wenn man es über ollama run hf.co/unsloth/Qwen3-30B-A3B-GGUF:Q3_K_XL laufen lässt. Es gibt optional auch eine fancy Benutzeroberfläche namens Open WebUI, die im Wesentlichen die von ChatGPT nachahmt und LaTeX-Formeln, anscheinend via KaTeX, hübsch setzt. Sie ist aber ein wenig umständlich aufzusetzen, weil man hierbei für Open WebUI und Ollama jeweils einen lokalen Server-Prozess starten muss. Ich ließ mir daraufhin von Gemini 2.5 pro ein Startup-Skript vibe-coden, um mich nicht ausufernd mit den APIs auseinandersetzen zu müssen. Das Modell lieferte mir – wohlgemerkt offline auf dem Notebook – in der Tat auf die Frage nach dem Wert der Reihe "1/4! + 4!/8! + 8!/12! + ..." als nettes Einstiegsbenchmark für diese Denkmodelle. Dies schafften zuvor erst o3-mini, DeepSeek R1 und Gemini 2.0 Flash Thinking Experimental 01-21. Mit dem Zusatz "/no_think" lässt sich das Denken bei Unbedarf abschalten. Für Sprache ist auch gemma3:12b gut, das allerdings nur mit 4 bis 5 Token/Sekunde läuft. Umso größer die Modelle sind, desto langsamer laufen sie in der Regel. Mal ein kurzes Beispiel zur Qualität. Übersetze bitte auf Deutsch: It was evening, and the grey light was again waning fast, when they halted for the night. They were very weary. The mountains were veiled in deepening dusk, and the wind was cold. Gandalf spared them one more mouthful each of the miruvor of Rivendell. When they had eaten some food he called a council. Wolfgang Kreges Übersetzung zum Vergleich Es war Abend, und das graue Licht schwand rasch, als sie für die Nacht haltmachten. Sie waren sehr müde. Das Gebirge hüllte sich in eine immer tiefer werdende Dämmerung, und der Wind war kalt. Gandalf hatte für jeden noch einen Schluck miruvor aus Bruchtal übrig. Nachdem sie etwas gegessen hatten, rief er sie zu einer Beratung zusammen. Gemma3-12B Es war Abend, und das graue Licht schwand wieder schnell, als sie für die Nacht rasteten. Sie waren sehr erschöpft. Die Berge waren im zunehmenden Dunkel verborgen, und der Wind war kalt. Gandalf gab ihnen jedem noch einen Bissen des Miruvor von Bruchtal. Nachdem sie etwas gegessen hatten, berief er einen Rat ein. Gemma3-4B Es war Abend, und das graue Licht nahm schnell ab, als sie sich zum Nachtruheplatz begaben. Sie waren sehr erschöpft. Die Berge waren von zunehmender Dämmerung umhüllt, und der Wind war kalt. Gandalf gab ihnen noch einen Schluck jedes Miruvor von Rivendell. Nachdem sie etwas gegessen hatten, rief er einen Rat ein. Qwen3-30B-A3B-GGUF:Q3_K_XL, /no_think Es war Abend, und das graue Licht verlor sich rasch, als sie sich zum Schlafen niederließen. Sie waren sehr müde. Die Berge waren in zunehmender Dunkelheit verschleiert, und der Wind war kalt. Gandalf gab ihnen noch ein letztes Stück des Miruvor aus Rivendell. Als sie etwas gegessen hatten, rief Gandalf eine Versammlung. Qwen3-4B-GGUF:Q4_K_XL, /no_think Es war Abend, und der graue Lichtschein war wieder rasch verblasst, als sie anhalten mussten, um die Nacht zu überstehen. Sie waren sehr müde. Die Berge lagen in abendlicher Dämmerung verborgen, und der Wind war kalt. Gandalf gab ihnen noch ein letztes Bissen jeder Art miruvor aus Rivendell. Nachdem sie etwas gegessen hatten, rief er eine Versammlung. Qwen3-1.7B-GGUF:Q4_K_XL, /no_think Es war Abend, und der graue Lichtschein war wieder schnell abgegangen, als sie an den Abend standen. Sie waren sehr müde. Die Berge waren von tiefem Schatten bedeckt, und der Wind war kalt. Gandalf gab ihnen noch einen Schluck des Miruvors aus Rivendell. Nachdem sie etwas Essen gegessen hatten, rief er eine Versammlung zusammen. DeepL Es war Abend, und das graue Licht nahm wieder schnell ab, als sie für die Nacht anhielten. Sie waren sehr müde. Die Berge waren in die Dämmerung gehüllt, und der Wind war kalt. Gandalf ersparte ihnen noch je einen Bissen des Spiegels von Bruchtal. Als sie etwas gegessen hatten, berief er einen Rat ein. Google Translate Es war Abend, und das graue Licht schwand wieder schnell, als sie für die Nacht Halt machten. Sie waren sehr müde. Die Berge waren in tiefere Dämmerung gehüllt, und der Wind war kalt. Gandalf ließ jedem von ihnen noch einen Bissen Miruvor von Bruchtal übrig. Nachdem sie etwas gegessen hatten, berief er eine Ratsversammlung ein. Gemini 2.5 Pro (Version 2025-05-06) Es war Abend, und das graue Licht schwand wieder rasch dahin, als sie für die Nacht anhielten. Sie waren sehr müde. Die Berge waren in die tiefer werdende Dämmerung gehüllt, und der Wind war kalt. Gandalf gönnte ihnen noch je einen Schluck des Miruvors aus Bruchtal. Als sie etwas gegessen hatten, rief er einen Rat zusammen. Gemini 2.5 Flash (Version 2025-05-20), Denken abgeschaltet Es war Abend, und das graue Licht schwand wieder schnell dahin, als sie für die Nacht haltmachten. Sie waren sehr müde. Die Berge waren in tiefer werdende Dämmerung gehüllt, und der Wind war kalt. Gandalf gönnte ihnen noch einen weiteren Schluck Miruvor aus Bruchtal. Nachdem sie etwas gegessen hatten, rief er einen Rat ein. GPT-4o Es war Abend, und das graue Licht schwand erneut rasch, als sie für die Nacht Halt machten. Sie waren sehr müde. Die Berge lagen in sich vertiefender Dämmerung verhüllt, und der Wind war kalt. Gandalf gönnte jedem von ihnen noch einen letzten Schluck Miruvor aus Bruchtal. Nachdem sie etwas gegessen hatten, rief er einen Rat ein. GPT-4.1-mini Es war Abend, und das graue Licht schwand schon wieder schnell, als sie für die Nacht Halt machten. Sie waren sehr erschöpft. Die Berge lagen im sich verdichtenden Zwielicht verborgen, und der Wind war kalt. Gandalf gönnte ihnen noch einen letzten Schluck des Miruvor von Bruchtal. Nachdem sie etwas gegessen hatten, berief er einen Rat ein. |
||
|
|