Nous avons récemment mis en œuvre une infrastructure IA sur mesure pour l’un de nos clients (dont le nom reste confidentiel pour des raisons de sécurité). Ce client utilise l’intelligence artificielle pour analyser de vastes ensembles de textes afin d’en extraire les signaux faibles et de capturer les subtilités dans les informations. Ce type d’analyse est crucial dans des secteurs tels que la finance, la veille stratégique, ou la détection d’opportunités émergentes, où la précision et la confidentialité des données sont primordiales.
Notre client, conscient des enjeux de sécurité et de confidentialité, a choisi de ne pas externaliser sa solution IA vers des fournisseurs de cloud public. En travaillant avec nous, il s’est assuré que toutes les données critiques restent dans une infrastructure hébergée en interne, renforçant ainsi leur sécurité.
Les choix technologiques : comparer les bandes passantes et les besoins en mémoire
La configuration que nous avons mise en place pour ce projet utilise une architecture basée sur des processeurs AMD EPYC, avec 24 canaux de mémoire DDR5 offrant une bande passante mémoire de 920 Go/s. Ce type de configuration permet de répondre aux besoins élevés de notre client, qui doit manipuler de larges volumes de données textuelles tout en maintenant une vitesse d’analyse rapide.
Pour les modèles d’intelligence artificielle modernes qui nécessitent des centaines de gigaoctets de mémoire pour fonctionner efficacement, cette bande passante mémoire est un facteur clé de succès. Comparée à une solution basée sur des GPU, où la mémoire est souvent limitée à la VRAM (généralement autour de 24 Go pour des cartes comme la NVIDIA RTX 3090), la solution CPU avec DDR5 extensible peut mieux répondre aux besoins des grands modèles d’analyse textuelle.
CPU vs GPU : flexibilité et économies d’énergie
Le choix d’une infrastructure basée sur des CPU plutôt que sur des GPU a été mûrement réfléchi. Les CPU AMD EPYC offrent une grande flexibilité et permettent une évolutivité aisée. Contrairement aux GPU, qui nécessitent d’ajouter des cartes supplémentaires pour augmenter la puissance de calcul, la solution CPU permet d’augmenter la mémoire à la demande et de gérer de grandes quantités de données de manière plus efficace, avec un coût énergétique bien inférieur.
Bien que les GPU soient extrêmement performants pour l’entraînement de réseaux neuronaux complexes, ils sont également très gourmands en énergie. Pour notre client, dont les besoins concernent principalement l’inférence de modèles déjà entraînés et l’analyse textuelle, les CPU sont une solution beaucoup plus économe en énergie.
Des performances comparables au Mac Studio M2 Ultra
En termes de performances de base, notre configuration se compare avantageusement à des solutions comme le Mac Studio M2 Ultra, qui dispose d’une bande passante mémoire de 800 Go/s. Cependant, notre infrastructure surpasse cette solution en termes d’évolutivité et de flexibilité. Alors que le Mac Studio M2 Ultra est limité à sa mémoire unifiée intégrée, notre architecture permet une augmentation continue de la mémoire et des capacités de calcul, sans restrictions.
Une infrastructure évolutive avec des options GPU
Un des atouts majeurs de la solution mise en place par Laurent Baleydier est son évolutivité. En plus de la configuration CPU performante, nous avons conçu l’infrastructure pour permettre à notre client d’ajouter des cartes graphiques au besoin. À l’aide de switches PCIe Gen4, nous pouvons connecter plusieurs cartes GPU (comme les NVIDIA RTX 3090) à la configuration existante, ce qui offre une puissance de calcul supplémentaire pour les tâches nécessitant un traitement parallèle intensif.
Cette approche permet à notre client de commencer avec une solution axée sur les CPU, qui répond à leurs besoins actuels, et de l’étendre facilement en ajoutant des GPU si des tâches d’entraînement de modèles complexes ou de traitement intensif venaient à émerger dans le futur.
Une idée de projet I.A. ?
Si, vous aussi, vous cherchez une solution d’intelligence artificielle capable de répondre à vos exigences en matière de confidentialité, de performance et de flexibilité, nous sommes à votre disposition pour concevoir une infrastructure adaptée à vos besoins spécifiques. Que ce soit pour l’analyse de grandes quantités de données, l’extraction de signaux faibles ou la gestion de modèles d’IA, nous vous accompagnerons dans la mise en place d’une solution sur mesure, à la fois évolutive et optimisée.
N’hésitez pas à nous contacter pour discuter de vos projets d’IA et découvrir comment nous pouvons vous aider à les réaliser efficacement tout en protégeant vos données.
