New Relic gab bekannt, dass New Relic AI Monitoring (AIM), eine der branchenweit ersten APM-Lösungen für KI-gestützte Anwendungen, jetzt in Amazon Bedrock integriert ist, einem vollständig verwalteten Service von Amazon Web Services, Inc. (AWS), der Foundation Models (FMs) von führenden KI-Unternehmen über eine API zugänglich macht, um generative KI-Anwendungen zu erstellen und zu skalieren. AWS-Kunden können jetzt New Relic nutzen, um mehr Transparenz und Einblicke in den gesamten KI-Stack zu erhalten, was die Fehlerbehebung und die Optimierung ihrer Anwendungen hinsichtlich Leistung, Qualität und Kosten erleichtert. Während KI moderne Anwendungen revolutioniert, bringt sie neue Herausforderungen und Komplexität für die Tech-Stacks von Unternehmen mit sich. KI-Technologiestacks enthalten neue Komponenten wie große Sprachmodelle (LLMs) und Vektordatenspeicher und generieren zusätzliche Telemetriedaten, die es zu verfolgen gilt, wie z.B. Qualität und Kosten. AIM löst diese neuen Herausforderungen, indem es APM auf den KI-Stack überträgt. Ähnlich wie Ingenieure ihren Anwendungsstack mit New Relic APM überwachen, bietet AIM den Ingenieuren einen vollständigen Einblick in alle Komponenten des KI-Stacks. AIM bietet eine einzige, einfache Ansicht zur Fehlersuche, zum Vergleich und zur Optimierung verschiedener LLM-Aufforderungen und -Antworten in Bezug auf Leistung, Kosten und Token sowie Qualitätsprobleme wie Halluzinationen, Verzerrungen, Toxizität und Fairness bei allen von Amazon Bedrock unterstützten Modellen. AIM lässt sich in Amazon Bedrock integrieren, um eine tiefgreifende End-to-End-Beobachtung zu ermöglichen. Mit den in AIM integrierten Integrationen wie Langchain können Amazon Bedrock-Kunden Metriken und Rückverfolgungen über den gesamten Lebenszyklus von LLM-Prompts und -Antworten erhalten, von rohen Prompts bis zu reparierten und geschäftskonformen Antworten. Zu den wichtigsten Funktionen und Anwendungsfällen gehören: Automatische Instrumentierung: New Relic Agents sind mit allen AIM-Funktionen ausgestattet, einschließlich vollständiger KI-Stack-Transparenz, Response Tracing, Modellvergleich und mehr für eine schnelle und einfache Einrichtung. Vollständige KI-Stack-Transparenz: Ganzheitlicher Überblick über die Anwendung, die Infrastruktur und die KI-Schicht, einschließlich KI-Metriken wie Antwortqualität und Token neben APM Golden Signals. Tiefgreifende Einblicke für jede LLM-Antwort: Verfolgen Sie den Lebenszyklus komplexer LLM-Antworten, die mit Tools wie LangChain erstellt wurden, um Leistungs- und Qualitätsprobleme wie Verzerrungen, Toxizität und Halluzinationen zu beheben. Vergleichen Sie Leistung und Kosten: Verfolgen Sie Nutzung, Leistung, Qualität und Kosten aller Modelle in einer einzigen Ansicht. Optimieren Sie die Nutzung mit Einblicken in häufig gestellte Fragen, Gedankenketten und Vorlagen und Zwischenspeicher für Fragen. Ermöglichen Sie einen verantwortungsvollen Einsatz von KI: Sorgen Sie für einen sicheren und verantwortungsvollen Einsatz von KI, indem Sie anhand von Antwortverfolgungsdaten überprüfen, ob die Antworten angemessen gekennzeichnet sind, um anzuzeigen, dass sie von KI generiert wurden und frei von Verzerrungen, Toxizität und Halluzinationen sind. Überwachen Sie Ihr KI-Ökosystem sofort: Die umfassendste Lösung zur Überwachung des gesamten Stacks eines KI-Ökosystems mit mehr als 50 Integrationen und Schnellstarts, darunter: Orchestrierungs-Framework: Langchain. Vektorielle Datenbanken: Pinecone, Weaviate, Milvus, FAISS, Zilliz.
LLM: Amazon Bedrock (Modelle von AI21 Labs, Amazon, Anthropic und Cohere). KI-Infrastruktur: Amazon SageMaker. New Relic AIM baut auf der engen Beziehung von New Relic zu AWS auf und ergänzt die mehr als 95 bestehenden AWS-Integrationen. AIM ist ab sofort für New Relic- und AWS-Benutzer auf der ganzen Welt im Early Access verfügbar. Benutzer können sich hier anmelden, um einen frühen Zugang zu beantragen, der Teil der vereinfachten, verbrauchsabhängigen Preisgestaltung von New Relic ist.