Rejoignez nos newsletters quotidiennes et hebdomadaires pour les dernières mises à jour et du contenu exclusif sur la couverture de l'IA de pointe. Apprendre encore plus
Cet article fait partie d'un numéro spécial VB intitulé « Match for Goal : Tailoring AI Infrastructure ». Découvrez toutes les autres histoires ici.
Alors que de plus en plus d'entreprises cherchent à créer davantage d'purposes d'IA, voire d'brokers d'IA, il devient de plus en plus clair que les organisations doivent utiliser différents modèles de langage et bases de données pour obtenir les meilleurs résultats.
Cependant, passer d'une software de Llama 3 à Mistral en un éclair peut demander un peu de finesse en matière d'infrastructure technologique. C'est là qu'interviennent la couche de contexte et d'orchestration ; la couche dite intermédiaire qui connecte les modèles de base aux purposes contrôlera idéalement le trafic des appels d'API vers les modèles pour exécuter des tâches.
La couche intermédiaire est principalement constituée de logiciels comme LangChaîne ou LamaIndex qui aident à relier les bases de données, mais la query est de savoir si la couche intermédiaire sera uniquement constituée de logiciels ou si le matériel peut encore jouer un rôle ici au-delà de la plupart des modèles qui alimentent les purposes d'IA en premier lieu.
La réponse est que le rôle du matériel est de prendre en cost des frameworks tels que LangChain et les bases de données qui donnent vie aux purposes. Les entreprises doivent disposer de piles matérielles capables de gérer des flux de données massifs et même d'envisager des appareils capables d'effectuer de nombreuses tâches de centre de données sur l'appareil.
>>Ne manquez pas notre numéro spécial : Match for Goal: Tailoring AI Infrastructure.
« S'il est vrai que la couche intermédiaire de l'IA est avant tout une préoccupation logicielle, les fournisseurs de matériel peuvent avoir un impression significatif sur ses performances et son efficacité », a déclaré Scott Gnau, responsable des plates-formes de données chez une société de gestion de données. InterSystèmes.
De nombreux consultants en infrastructure d'IA ont déclaré à VentureBeat que même si les logiciels sous-tendent l'orchestration de l'IA, aucun ne fonctionnerait si les serveurs et les GPU ne pouvaient pas gérer des mouvements massifs de données.
En d’autres termes, pour que la couche d’orchestration de l’IA logicielle fonctionne, la couche matérielle doit être intelligente et efficace, en se concentrant sur des connexions à massive bande passante et à faible latence aux données et aux modèles pour gérer de lourdes costs de travail.
« Cette couche d'orchestration de modèles doit être soutenue par des puces rapides », a déclaré Matt Sweet, associé directeur de l'IA générative chez Conseil IBMdans une interview. « Je pourrais imaginer un monde dans lequel les siliciums/puces/serveurs seraient capables d'être optimisés en fonction du sort et de la taille du modèle utilisé pour différentes tâches, alors que la couche d'orchestration bascule entre eux. »
Les GPU actuels, si vous y avez accès, fonctionneront déjà
John Roese, CTO mondial et directeur de l'IA chez Della déclaré à VentureBeat que le matériel comme celui fabriqué par Dell joue toujours un rôle dans cette couche intermédiaire.
« C'est à la fois un problème matériel et logiciel, automobile ce que les gens oublient à propos de l'IA, c'est qu'elle apparaît comme un logiciel », a déclaré Roese. « Les logiciels fonctionnent toujours sur du matériel, et les logiciels d'IA sont les plus exigeants que nous ayons jamais construits. Vous devez donc comprendre la couche de performances pour savoir où se trouvent les MIP, où se trouve le calcul pour que ces éléments fonctionnent correctement. »
Cette couche intermédiaire d’IA peut nécessiter un matériel rapide et puissant, mais aucun nouveau matériel spécialisé n’est nécessaire au-delà des GPU et autres puces actuellement disponibles.
« Certes, le matériel est un facteur clé, mais je ne sais pas s'il existe un matériel spécialisé qui pourrait vraiment le faire progresser, autre que les GPU qui permettent aux modèles de fonctionner plus rapidement », a déclaré Gnau. « Je pense que les logiciels et l'structure sont des domaines dans lesquels vous pouvez optimiser de manière structurée la capacité de minimiser le mouvement des données. »
Les brokers IA rendent l’orchestration de l’IA encore plus importante
La montée en puissance des brokers d’IA a rendu le renforcement de la couche intermédiaire encore plus critique. Lorsque les brokers IA commencent à parler à d’autres brokers et à effectuer plusieurs appels d’API, la couche d’orchestration indique que le trafic et les serveurs rapides sont cruciaux.
« Cette couche fournit également un accès API clear à tous les différents sorts de modèles et de applied sciences d'IA, ainsi qu'une couche d'expérience utilisateur transparente qui les englobe tous », a déclaré Sweet d'IBM. « Je l'appelle un contrôleur IA dans cette pile middleware. »
Les brokers d’IA sont actuellement un sujet brûlant pour l’industrie, et ils influenceront probablement la façon dont les entreprises bâtiront une grande partie de leur infrastructure d’IA à l’avenir.
Roese a ajouté un autre élément que les entreprises doivent prendre en compte : l’IA sur les appareils, un autre sujet brûlant dans le domaine. Il a déclaré que les entreprises voudront imaginer quand leurs brokers d’IA devront fonctionner localement, automobile l’ancien Web pourrait tomber en panne.
« La deuxième selected à considérer est : où courez-vous ? » » dit Roese. « C'est là que des choses comme l'IA PC entrent en jeu, automobile dès que j'ai un groupe d'brokers travaillant en mon nom et qu'ils peuvent se parler, doivent-ils tous être au même endroit. »
Il a ajouté que Dell avait exploré la possibilité d'ajouter des brokers de « conciergerie » sur l'appareil « afin que si jamais vous êtes déconnecté d'Web, vous puissiez continuer à faire votre travail ».
Explosion de la pile technologique maintenant, mais pas toujours
L'IA générative a permis l'enlargement de la pile technologique, à mesure que davantage de tâches sont devenues plus abstraites, apportant de nouveaux fournisseurs de providers proposant de l'espace GPU, de nouvelles bases de données ou des providers AIOps. Ce ne sera pas le cas pour toujours, a déclaré Uniphore Le PDG Umesh Sachdev et les entreprises doivent s'en memento.
« La pile technologique a explosé, mais je pense que nous allons la voir se normaliser », a déclaré Sachdev. « À terme, les gens apporteront les choses en interne et la demande de capacité en GPU diminuera. L'explosion des couches et des fournisseurs se produit toujours avec les nouvelles applied sciences et nous allons voir la même selected avec l'IA.
Pour les entreprises, il est clair que réfléchir à l’ensemble de l’écosystème de l’IA, du logiciel au matériel, constitue la meilleure pratique pour des flux de travail d’IA qui ont du sens.
la source
