Vortrag von Jonas Stettner zu Self-Hosting von LLMs
Jonas aus dem CDL-Team fasst in seiner Dokumentation Erfahrungen und Experimente über Self-HostingHostingHosting bezeichnet die Bereitstellung und den Betrieb von IT-Infrastruktur und Rechenressourcen, um Websites, WebApps, Datenbanken und andere Anwendungen zugänglich zu machen. Hierfür werden meistens Server verwendet. Beim Self-Hosting (de: selbst hosten, Eigenhosting) betreibt und wartet man selbst nötige Infrastruktur und Anwendungen. Beim Managed Hosting übernimmt ein externer Anbieter den Betrieb und die Wartung der Infrastruktur und Anwendungen. Unabhängig davon, wer das Hosting übernimmt, spielt auch das “Wo” eine Rolle – die benötigten Rechenressourcen können entweder in der Cloud liegen (Cloud Computing, z.B. ein virtueller Server) oder physisch vor Ort sein (“on premise”, z.B. Server in einem eigenen Data-Center oder in einem separaten Raum im Büro). Mit der zunehmenden Verfügbarkeit von Cloud Computing und damit verbundenen Geschäftsmodellen nimmt der Anteil von Hosting in der Cloud in den letzten Jahren stetig zu. von LLMs zusammen.