Os bancos de dados vetoriais são estão na moda, a julgar pelo número de startups que estão entrando no espaço e pelos investidores que estão se empenhando para obter uma fatia do bolo. A proliferação de grandes modelos de linguagem (LLMs) e o movimento de IA generativa (GenAI) criaram um terreno fértil para o desenvolvimento das tecnologias de bancos de dados vetoriais.
Embora os bancos de dados relacionais tradicionais, como Postgres ou MySQL, sejam adequados para dados estruturados – tipos de dados predefinidos que podem ser arquivados ordenadamente em linhas e colunas -, isso não funciona tão bem para dados não estruturados, como imagens, vídeos, e-mails, publicações em mídias sociais e quaisquer dados que não aderem a um modelo de dados predefinido.
Os bancos de dados vetoriais, por outro lado, armazenam e processam dados na forma de embeddings vetoriais, que convertem textos, documentos, imagens e outros dados em representações numéricas que capturam o significado e as relações entre os diferentes pontos de dados. Isso é perfeito para o aprendizado de máquina, pois o banco de dados armazena dados espacialmente de acordo com a relevância de cada item para o outro, facilitando a recuperação de dados semanticamente semelhantes.
Isso é particularmente útil para LLMs, como o GPT-4 da OpenAI, pois permite que o chatbot de IA entenda melhor o contexto de uma conversa analisando conversas anteriores semelhantes. A pesquisa vetorial também é útil para todos os tipos de aplicativos em tempo real, como recomendações de conteúdo em redes sociais ou aplicativos de comércio eletrônico, pois ela pode analisar o que um usuário pesquisou e recuperar itens semelhantes em um piscar de olhos.
A pesquisa vetorial também pode ajudar a reduzir as “alucinações” em aplicativos LLM, fornecendo informações adicionais que talvez não estivessem disponíveis no conjunto de dados de treinamento original.
“Sem usar a pesquisa de similaridade de vetores, ainda é possível desenvolver aplicativos de IA/ML, mas seria necessário fazer mais retreinamento e ajuste fino” Andre Zayarni, CEO e cofundador da startup de pesquisa vetorial Qdrant, explicou ao TechCrunch. “Os bancos de dados vetoriais entram em ação quando há um grande conjunto de dados, e você precisa de uma ferramenta para trabalhar com embeddings vetoriais de forma eficiente e conveniente.”
Em janeiro, a Qdrant garantiu US$ 28 milhões em financiamento para capitalizar o crescimento que a levou a se tornar uma das 10 startups comerciais de código aberto com crescimento mais rápido no ano passado. E está longe de ser a única startup de banco de dados vetorial a levantar dinheiro ultimamente – Vespa, Weaviate, Pinecone e Chroma levantaram coletivamente US$ 200 milhões no ano passado para várias ofertas de vetores.
Equipe fundadora da Qdrant. Créditos de imagem: Qdrant
Desde a virada do ano, também vimos a Index Ventures liderar uma rodada de sementes de US$ 9,5 milhões para a Superlinked, uma plataforma que transforma dados complexos em embeddings vetoriais. E, há algumas semanas, a Y Combinator (YC) revelou sua coorte Winter ’24, que incluía a Lantern, uma startup que vende um mecanismo de pesquisa vetorial hospedado para Postgres.
Em outro lugar, a Marqo levantou uma rodada de sementes de US$ 4,4 milhões no final do ano passado, rapidamente seguida por uma rodada da Série A de US$ 12,5 milhões em fevereiro. A plataforma Marqo oferece uma gama completa de ferramentas vetoriais prontas para uso, abrangendo geração, armazenamento e recuperação de vetores, permitindo que os usuários contornem ferramentas de terceiros, como OpenAI ou Hugging Face, e oferece tudo por meio de uma única API.
Os cofundadores da Marqo, Tom Hamer e Jesse N. Clark, trabalharam anteriormente em funções de engenharia na Amazon, onde perceberam a “enorme necessidade não atendida” de pesquisa semântica e flexível em diferentes modalidades, como texto e imagens. E foi aí que eles abandonaram o barco para formar a Marqo em 2021.
“Trabalhar com pesquisa visual e robótica na Amazon foi quando eu realmente olhei para a pesquisa vetorial – eu estava pensando em novas maneiras de descobrir produtos, e isso rapidamente convergiu para a pesquisa vetorial”, disse Clark ao TechCrunch. “Na robótica, eu estava usando a pesquisa multimodal para pesquisar muitas de nossas imagens e identificar se havia coisas erradas, como mangueiras e embalagens. De outra forma, seria muito difícil resolver esse problema.”
Jesse Clark e Tom Hamer, cofundadores da Marqo. Créditos de imagem: Marqo
Entre na empresa
Embora os bancos de dados vetoriais estejam tendo um momento de destaque em meio ao alvoroço do ChatGPT e do movimento GenAI, eles não são a panaceia para todos os cenários de pesquisa empresarial.
“Os bancos de dados dedicados tendem a ser totalmente focados em casos de uso específicos e, portanto, podem projetar sua arquitetura para o desempenho das tarefas necessárias, bem como para a experiência do usuário, em comparação com os bancos de dados de uso geral, que precisam se adequar ao projeto atual”, explicou Peter Zaitsev, fundador da empresa de serviços e suporte a bancos de dados Percona, ao TechCrunch.
Embora os bancos de dados especializados possam se destacar em um aspecto, excluindo outros, é por isso que estamos começando a ver bancos de dados incumbentes como a Elastic, Redis, OpenSearch, Cassandra, Oraclee MongoDB adicionando inteligência de pesquisa de banco de dados vetorial à mistura, assim como provedores de serviços em nuvem como Azure da Microsoft, AWS da Amazone Cloudflare.
Zaitsev compara essa última tendência ao que aconteceu com o JSON há mais de uma década, quando os aplicativos da Web se tornaram mais predominantes e os desenvolvedores precisavam de um formato de dados independente de linguagem que fosse fácil de ler e escrever para humanos. Nesse caso, uma nova classe de banco de dados surgiu na forma de bancos de dados de documentos, como o MongoDB, enquanto os bancos de dados relacionais existentes também introduziram o suporte a JSON.
“Acho que o mesmo deve acontecer com os bancos de dados vetoriais”, disse Zaitsev ao TechCrunch. “Os usuários que estão criando aplicativos de IA muito complicados e em grande escala usarão bancos de dados de pesquisa vetorial dedicados, enquanto as pessoas que precisam criar um pouco de funcionalidade de IA para seu aplicativo existente têm mais probabilidade de usar a funcionalidade de pesquisa vetorial nos bancos de dados que já usam.”
Mas Zayarni e seus colegas da Qdrant estão apostando que as soluções nativas criadas inteiramente com base em vetores fornecerão a “velocidade, a segurança da memória e a escala” necessárias à medida que os dados vetoriais explodem, em comparação com as empresas que utilizam a pesquisa vetorial como uma reflexão tardia.
“A proposta deles é: ‘também podemos fazer pesquisa vetorial, se necessário'”, disse Zayarni. “Nossa proposta é: ‘fazemos pesquisa vetorial avançada da melhor maneira possível’. É tudo uma questão de especialização. Na verdade, recomendamos começar com qualquer banco de dados que você já tenha em sua pilha de tecnologia. Em algum momento, os usuários enfrentarão limitações se a pesquisa vetorial for um componente essencial da sua solução.”
