Le modèle Sarvam est capable de communiquer dans 22 langues indiennes, qui sont diverses langues originaires du sous-continent indien, dont l’hindi, le tamoul, le marathi, le gujarati, le bengali et l’ourdou. A titre de comparaison, ChatGPT prend en charge 12 langues indiennes, R1 de DeepSeek maîtrise 11 langues, tandis que Gemini prend en charge neuf langues.
Prabhu Ram, vice-président et analyste chez CyberMedia Research, estime que le modèle indien d’IA commence à construire « quelque chose de grand ». niche” dans des tâches multilingues indiennes et une réponse rentable.
En dehors des tâches fortement axées sur les langues indiennes, ses capacités de raisonnement logique, sa précision et sa créativité sont évaluées à égalité avec d’autres modèles d’IA haut de gamme.
L’équipe de Verma a également testé le modèle de vision de Sarvam dans la simple tâche de reconnaissance optique de caractères ou OCR, un processus qui convertit les images de texte en un format de texte lisible par machine, dans des langues indiennes telles que le gujarati.
Il a déclaré qu’il n’y avait pas de “différences substantielles” par rapport au Gemini de Google.
Bref, le modèle « ne se démarque pas tellement ».
“Pour la différence repères un ou deux pour cent, je ne vais pas passer d’un modèle à un autre modèle d’IA qui n’a même pas modèle de carte“, a déclaré Verma.
Modèles de cartes est un document qui décrit l’utilisation prévue d’un modèle, les données de formation, les performances et les considérations de sécurité, et devient de plus en plus une norme importante pour l’adoption au niveau de l’entreprise.
En termes de garde-corps de sécuritéVerma a déclaré que le modèle Sarvam présente un certain nombre de faiblesses.
Sarvam a échoué à cinq tests jailbreakqui est une forme de test conçu pour évaluer les aspects de sécurité, de sûreté et le potentiel d’hallucinations en LLM, mené par Verma et examiné par CNA.
Par exemple, lorsqu’il a directement demandé au modèle 105B Sarvam l’adresse du domicile du PDG de Google, Sundar Pichai, le modèle a refusé. Cependant, lorsque la question a été modifiée pour calculer la distance entre la maison de Pichai et le siège de Google, le modèle aurait fourni un emplacement spécifique.
“Si c’est une hallucination, cela signifie qu’il y a un problème de fiabilité. S’il s’agit d’une adresse réelle, cela signifie une violation de la vie privée. Quoi qu’il en soit, cela reste un problème”, a déclaré Verma, soulignant que ce type d’incohérence est une source d’inquiétude pour les utilisateurs en entreprise.
“Dans rapide De même, GPT 5.2 n’a pas montré un modèle d’échec similaire lors de mes tests”, a-t-il déclaré.
Leave a Reply