Efektywne poruszanie się po bazach wiedzy: Potęga Gen AI i Snowflake Cortex AI

Click here for English version

Większość firm, przechowuje tysiące stron dokumentów które są niezbędne w pracy zespołowej. Bazy danych szybko się rozrastają i ciągle ewoluują, co stwarza wyzwanie, jakim jest odnalezienie w nich odpowiednich informacji.

Pomimo starannej dokumentacji, czy też stosowaniu rozwiązń polegających na indeksowaniu treści, dotarcie do tego, czego szukamy, staje się żmudną operacją – musimy albo znać lokalizację danego dokumentu, albo szukać po dokładnych słowach kluczowych.

 Case study jednego z naszych klientów

U jednego z klientów Capgemini, zespół budujący i obsługujący nową platformę  danych był zasypywany masą pytań ze strony niedoświadczonych użytkowników i użytkowniczek, co poważnie zmniejszało jego zdolności do dalszego rowijania tej platformy i dotrzymania ustalonych terminów na wprowadznie nowych funkcjonalności.

Pokrótce wyjaśnię, na czym polegała obsługa typowego zapytania, pochodzącego od osób korzystających z  platformy:

1. Klient kieruje pytanie do zespołu obsługującego platformę.
2. Dedykowana osoba z zespołu platformy przegląda dostępne dokumenty Wiki i szuka odpowiednich informacji.
3. Kilka minut lub nawet kilka godzin później, osoba z obsługi przekazuje informacje (link) do osoby pytającej.
4. Odpowiedź może być niejasna, co powoduje zadanie kolejnego pytania.

Dodam, że wiele pytań było podobnych lub wręcz powtarzało się.

Wraz ze wzrostem ilości osób korzystających z platformy, rośnie tygodniowy nakład pracy poświęcony wsparciu klientów i przewiduje się, że do końca 2024 roku osiągnie on 2,5 “FTE” (etatów) stale zajmujących się tym zadaniem. Ponadto czas odpowiedzi na prośby dotyczące wsparcia jest zbyt długi, co dodatkowo prowadzi do spadku zadowolenia klientów z obsługi.

Rozmawiaj ze swoimi danymi za pomocą Gen AI

Klient wykorzystywał kilka technologii chmurowych, w tym Snowflake, jako główne rozwiązanie w zakresie baz danych i hurtowni danych. Eksperci Capgemini szybko dostrzegli technologię Snowflake Cortex AI jako klucz do stworzenia nowoczesnego rozwiązania, które w przyszłości rozwiąże problemy klienta związane z kosztami operacyjnymi obsługi zapytań na jego platformie.

Jak zmniejszyć koszty operacyjne i jednocześnie przenieść interakcje z klientami na nowy poziom?

1. Przejdź bezpośrednio do chatbota i zadaj pytanie.
2. Nadal masz pytanie? Zadaj kolejne.
3. Chatbot nie potrafi odpowiedzieć na twoje pytanie? Skontaktuj się z odpowiednią osobą z zespołu platformy.

Z takim pomysłem Capgemini przystąpiło do wdrożenia chatbota opartego o Gen AI, który mógłby efektywnie odpowiadać na pytania klientów. Chatbot, wspierany przez obszerne repozytoria wiedzy firmy, zapewniał, że dostarczane odpowiedzi były dokładne i jasne. Dodatkowo, chatbot odnosił się do źródłowego linku dokumentacji Wiki jako części swoich odpowiedzi, ułatwiając znalezienie potrzebnych informacji oraz niejako potwierdzając ich poprawność.

Takie rozwiązanie dostępne 24 godziny na dobę sprawiło,  że klienci mogli uzyskać pomoc o każdej porze dnia i nocy.

Wykorzystując moc Cortex AI i Gen AI opierających się na Retrieval-Augmented Generation (RAG), Capgemini zrewolucjonizowało sposób obsługi wsparcia klienta.

Rzut oka na architekturę

Architektura RAG zaproponowana przez Capgemini dla chatbota Cortex AI składała się z trzech typów usług:

• Cortex AI Functions dla wsparcia large language model (LLM): EMBED_TEXT_768, VECTOR_L2_DISTANCE, oraz COMPLETE).
• Snowpark Container Services dla interfejsu użytkownika.
• Tabele Snowflake jako tzw. “vector store” (z natywnym wsparciem typu “vector”).

Wyjaśnienie podstawowych terminów:

• RAG to podejście architektoniczne, które zwiększa możliwości dużych modeli językowych (LLM) poprzez włączenie systemu wyszukiwania informacji. System ten wyszukuje odpowiednie dane takie jak np.  dokumenty i dostarcza je jako kontekst dla LLM, poprawiając dokładność i trafność generowanych odpowiedzi.
• Snowflake Cortex AI to inteligentna, w pełni zarządzana usługa w ramach Snowflake, która pozwala firmom wykorzystać moc sztucznej inteligencji (AI), umożliwiając użytkownikom i użytkowniczkom szybkie analizowanie danych i budowanie aplikacji AI bez potrzeby posiadania rozległej wiedzy technicznej.
• Funkcje Snowflake Cortex AI to zestaw wstępnie przygotowanych funkcji LLM, które pozwalają na wykonywanie zaawansowanej analizy danych i zadań AI bezpośrednio na platformie Snowflake. Te funkcje obejmują możliwości takie jak uzupełnianie tekstu, analiza sentymentu i podsumowywanie tekstu.
• Usługi kontenerowe Snowflake to w pełni zarządzana oferta kontenerowa, która pozwala na wdrażanie, zarządzanie i skalowanie aplikacji kontenerowych w ramach platformy danych Snowflake.

Wdrożenie chatbota Gen AI opartego na technologii Snowflake Cortex AI, pozwoliło klientowi na usprawnienie procesów wsparcia swojego klienta oraz na zmniejszenie kosztów operacyjnych. To innowacyjne rozwiązanie wykorzystujące moc Generatywnej Sztucznej Inteligencji (GenAI) sprawiło, że użytkownicy i użytkowniczki mogą łatwo nawigować po rozległych bazach wiedzy i bardzo łatwo znajdować potrzebne informacje.

Cortex Search

Opisałem sposób, w jaki Capgemini zbudowało narzędzie wyszukiwania dla podanego use case klienta. Niedawno wprowadzony serwis Cortex Search sprawił, że budowa takich rozwiązań stała się znacznie łatwiejsza. Cortex Search sam zarządza procesami embeddingu oraz wektoryzacji, stąd nie trzeba już samodzielnie oprogramowywać tych kluczowych elementów rozwiązań typu RAG a zamiast tego mozna korzystać z pełnego rozwiązania SaaS.  Dodatkowo, serwis ten podniósł jakość generowanych wyników dzięki zaawansowanemu rozwiązaniu wyszukiwania, łączącemu wyszukiwanie semantyczne i leksykalne. To skuteczne podejście jest niewątpliwie przełomem w budowaniu rozwiązań opartych na Gen AI RAG.

Capgemini and Snowflake

Współpraca między Capgemini a Snowflake pozwala na budowę zaawansowanych ekosystemów, w których firmy mogą bez wysiłku udostępniać i korzystać z udostępnionych danych. Capgemini i Snowflake współpracują nad opracowywaniem rozwiązań Generatywnej Sztucznej Inteligencji, które wykorzystują zaawansowaną technologię Snowflake Cortex do implementacji innowacyjnych rozwiązań kluczowych w nowoczesnym biznesie.

Ta strategiczna współpraca doprowadziła do tego, że Snowflake nadało firmie  Capgemini tytuł “2023 EMEA Global SI Partner of the Year”.

English version

Navigating knowledge bases efficiently: The power of Gen AI and Snowflake Cortex AI

Most companies that rely heavily on document stores for knowledge sharing and team collaboration often end up with many pages created by users.

The rapid growth and constant evolution of these knowledge bases pose significant challenges in finding relevant content. Despite diligent documentation, navigating to the pertinent information remains difficult – one either knows where the document is or the exact keywords to find it.

Real customer scenario

At one of Capgemini’s clients, a team operating and building a new data platform was entangled in customer support, reducing its ability to create new functionalities.

Allow me to briefly explain what a typical support request entailed:

1. The customer raises a question to the platform team.
2. A dedicated person from the platform team browses available Wiki documentation and searches for relevant information.
3. Several minutes or even hours later, the person passes the information (a link) to the requestor.
4. The answer may not be clear, prompting the need for another question to be asked.

The weekly effort spent on customer support is increasing, and it is projected to reach 2.5 “FTE” permanently occupied with customer support activity by the end of 2024, as the number of platform users grows. Moreover, the response time for support requests is too long, leading to a poor customer experience.

Talk to your data with Gen AI

The client uses several cloud technologies, including Snowflake, as the core database and data warehouse solution. Capgemini experts were quick to consider Snowflake Cortex AI technology as the key to creating a cutting-edge solution for tomorrow, addressing the client’s issues with operational costs.

Why not ramp down on operational costs and ramp up customer interactions to a new level like this?

1. Go straight to the chatbot and ask the question.
2. Still have a question? Ask another question.
3. Is the chatbot not able to answer your question? Contact a relevant person from the platform team.

With this vision in mind, Capgemini set out to implement a Gen AI-based chatbot that could answer customer questions efficiently. The chatbot, powered by the company’s extensive knowledge repositories, ensured that the provided answers were accurate and relevant. Additionally, the chatbot referenced the source Wiki documentation link as part of its responses, making it easier for users to find the information they needed.

The solution worked 24/7, ensuring that customers could get help at any time of the day or night. This innovative approach aimed to reduce the burden on the customer support team and enhance the overall customer experience. By leveraging the power of Cortex AI and Retrieval-augmented generation “RAG”-based Gen AI, Capgemini was poised to revolutionize how customer support was handled, paving the way for a more efficient future.

High-level architecture

The RAG architecture Capgemini proposed for the Cortex AI chatbot consisted of three service types:

• Cortex AI Functions for large language model (LLM) support: EMBED_TEXT_768, VECTOR_L2_DISTANCE, and COMPLETE)
• Snowpark Container Services for retrieval front-end.
• Snowflake tables as a vector store (native support of vectors as data types in Snowflake).

Let me explain some basic terms:

• RAG is an architectural approach that enhances the capabilities of large language models by incorporating an information retrieval system. This system retrieves relevant data or documents and provides them as context for the LLM, improving the accuracy and relevance of the generated responses.
• Snowflake Cortex AI is an intelligent, fully managed service within Snowflake that allows businesses to leverage the power of artificial intelligence (AI) that enables users to quickly analyze data and build AI applications without the need for extensive technical expertise.
• Snowflake Cortex AI Functions are a set of pre-built LLM functions that allow users to perform advanced data analysis and AI tasks directly within the Snowflake platform. These functions include capabilities such as text completion, sentiment analysis, and text summarization.
• Snowflake Container Services is a fully managed container offering that allows users to deploy, manage, and scale containerized applications within the Snowflake data platform.

By implementing a Gen AI chatbot based on Snowflake Cortex AI technology, evaluated by Capgemini, the client can streamline the customer support processes, reduce operational costs, and enhance customer interactions. This innovative solution leverages the power of AI to provide accurate and timely answers, ensuring that users can easily navigate through vast knowledge bases and find the information they need.

Cortex Search

I described the way Capgemini built a search tool for the client’s use case. The latest introduction of Cortex Search replaces the need for standalone vector tables and a self-managed embedding process with a fully managed RAG engine. This advancement not only streamlines development but also elevates the quality of outcomes with sophisticated retrieval and ranking techniques that merge semantic and lexical search. This effective approach is undoubtedly a game changer in building Gen AI RAG-based solutions.

Capgemini and Snowflake

The collaboration between Capgemini and Snowflake leverages Snowflake’s AI data cloud to enable businesses to unify and connect to a single copy of all data with ease. This partnership allows for the creation of collaborative data ecosystems, where businesses can effortlessly share and consume shared data and data services.

Capgemini and Snowflake are collaborating to develop generative AI solutions that leverage Snowflake’s advanced AI Data Cloud technology to drive innovation and enhance business outcomes across various industries.

This strategic relationship has led to Snowflake naming Capgemini the 2023 EMEA Global SI Partner of the Year.