·6 min
Un LLM hors-ligne qui cite ses sources : on a branché Ollama sur Kiwix
Un modèle qui tourne sur notre RTX 3090 a un défaut structurel : ses poids sont figés au jour de son entraînement. Coupez Internet et il raisonne encore très bien, mais il devient incertain sur les faits. Nous avions déjà les deux moitiés de la réponse sous la main — une bibliothèque ZIM servie par Kiwix, et Ollama sur le GPU. Voici comment nous les avons branchées l'une sur l'autre pour obtenir un assistant qui sait des choses justes, sans le moindre paquet qui sort du LAN. Avec les deux faux pas qui nous ont coûté l'après-midi.
self-hostingia-localeragollamakiwixofflinellmhomelabsouveraineté
Lire →