Aprimorando os recursos de IA: Google Cloud integra pesquisa vetorial em bancos de dados gerenciados

Notícias da página inicial do InfoQ Aprimorando recursos de IA: Google Cloud integra pesquisa vetorial em bancos de dados gerenciados

09 de julho de 2023 2 min de leitura

por

Renato Losio

O Google Cloud adicionou recentemente suporte para o pgvector no Cloud SQL para PostgreSQL e AlloyDB para PostgreSQL. A extensão traz operações de pesquisa vetorial para bancos de dados gerenciados, permitindo que os desenvolvedores armazenem embeddings vetoriais gerados por grandes modelos de linguagem (LLMs) e realizem pesquisas por similaridade.

O Cloud SQL e o AlloyDB agora podem ser combinados com serviços generativos de IA no Vertex AI, ajudando a criar aplicativos habilitados para IA que estão cientes do estado do aplicativo e do usuário. Sandhya Ghai, gerente sênior de produtos do Google, e Bala Narasimhan, gerente de produtos do Google, explicam:

Incorporações vetoriais são representações numéricas normalmente usadas para transformar conteúdo complexo gerado pelo usuário, como texto, áudio e vídeo, em um formato que pode ser facilmente armazenado, manipulado e indexado. Essas representações são geradas por modelos de incorporação de modo que, se duas partes de conteúdo forem semanticamente semelhantes, suas respectivas incorporações estejam localizadas próximas uma da outra no espaço vetorial de incorporação. Os embeddings de vetores são então indexados e usados ​​para filtrar dados com eficiência com base na similaridade.

Por exemplo, os desenvolvedores podem usar modelos pré-treinados da Vertex AI em texto e imagens para gerar embeddings e armazená-los e indexá-los em um banco de dados, simplificando a busca por registros semelhantes.

A extensão pgvector agora pode ser instalada em um banco de dados existente usando o comando CREATE EXTENSION:

Fonte: https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases

O novo recurso também pode ajudar os desenvolvedores a aproveitar LLMs pré-treinados, como explicam Ghai e Narasimhan:

Uma coisa a notar sobre os LLMs é que eles não têm conceito de estado. (...) Os embeddings permitem armazenar grandes contextos, como documentação ou históricos de bate-papo de longo prazo, em seu banco de dados e filtrá-los para encontrar as informações mais relevantes. Você pode então alimentar o modelo com as partes mais relevantes do histórico de bate-papo ou documentação para simular a memória de longo prazo e o conhecimento específico do negócio.

O Google Cloud lançou um notebook Colab e um vídeo para criar aplicativos com tecnologia de IA usando pgvector, a estrutura de código aberto LangChain e LLMs. Mostrando como adicionar recursos generativos de IA a um exemplo de aplicativo Python, Saket Saurabh, engenheiro de software sênior do Google, escreve:

A extensão pgvector também introduz novos operadores para realizar correspondências de similaridade em vetores, permitindo encontrar vetores semanticamente semelhantes. Dois desses operadores são:'<->': retorna a distância euclidiana entre os dois vetores. (...)'<=>': retorna a distância do cosseno entre os dois vetores.

O Google Cloud não é o único provedor de nuvem direcionado a bancos de dados vetoriais nos últimos meses, com o Amazon RDS para PostgreSQL apoiando a extensão pgvector e a Microsoft mostrando como o Azure Data Explorer (ADX) pode ser usado como um banco de dados vetorial e discutindo vários conectores para bancos de dados vetoriais .

Codifique, implante e dimensione o Java do seu jeito. O Microsoft Azure oferece suporte à sua carga de trabalho com diversas opções, esteja você trabalhando em um aplicativo Java, um servidor de aplicativos ou uma estrutura. Saber mais.

Escrever para o InfoQ abriu muitas portas e aumentou as oportunidades de carreira para mim. Pude me envolver profundamente com especialistas e líderes inovadores para aprender mais sobre os tópicos que abordei. E também posso divulgar os meus conhecimentos para a comunidade tecnológica mais ampla e compreender como as tecnologias são utilizadas no mundo real.

Eu descobri o programa de contribuidores do InfoQ no início deste ano e tenho gostado dele desde então! Além de me fornecer uma plataforma para compartilhar aprendizado com uma comunidade global de desenvolvedores de software, o sistema de revisão peer-to-peer do InfoQ melhorou significativamente minha escrita