Neural Search Comes to Apache Solr: Approximate Nearest Neighbor, BERT and More!

The first integrations of machine learning techniques with search allowed to improve the ranking of your search results (Learning To Rank) – but one limitation has always been that documents had to contain the keywords that the user typed in the search box in order to be retrieved. For example, the query “tiger” won’t retrieve documents containing only the terms “Panthera tigris”. This is called the vocabulary mismatch problem and over the years it has been mitigated through query and document expansion approaches.

Neural search is an Artificial Intelligence technique that allows a search engine to reach those documents that are semantically similar to the user’s query without necessarily containing those terms; it avoids the need for long lists of synonyms by automatically learning the similarity of terms and sentences in your collection through the utilisation of deep neural networks and numerical vector representation.

This talk explores the first Apache Solr official contribution about this topic, available from Apache Solr 9.0.

During the talk we will give an overview of neural search: we will describe vector representations for queries and documents, and how Approximate K-Nearest Neighbor (KNN) vector search works.

We will show how neural search can be used along with deep learning techniques (e.g, BERT) or directly on vector data, and how we implemented this feature in Apache Solr.

La Ricerca Neurale arriva in Apache Solr: Approximate Nearest Neighbor, BERT e altro ancora!

Le prime integrazioni di tecniche di Machine Learning con la ricerca hanno permesso di migliorare il posizionamento dei risultati di ricerca (Learning to Rank), ma una delle limitazioni è sempre stata che i documenti dovevano contenere le parole chiave che l’utente digitava nella casella di ricerca per essere trovati. Ad esempio, la query “tigre” non recuperava documenti contenenti il termine latino “panthera tigris”. 

Questo problema è chiamato “vocabulary mismatch” e nel corso degli anni è stato mitigato attraverso diversi approcci, come l'espansione delle query e dei documenti.

La Ricerca Neurale (Neural Search) è una tecnica di inteligenza artificiale che consente a un motore di ricerca di raggiungere i documenti semanticamente simili a ciò che ha ricercato l’utente, senza necessariamente contenere l’esatto termine ricercato. Ciò evita la necessità di lunghi elenchi di sinonimi, apprendendo automaticamente la somiglianza tra i termini e le frasi della collezione, attraverso l’utilizzo di reti neurali profonde (deep neural networks) e la rappresentazione vettoriale.

Questo talk esplora il primo contributo ufficiale di Apache Solr su questo argomento, disponibile a partire da Apache Solr 9.0.

Nel corso dell’intervento verrà fornita una panoramica della Ricerca Neurale: verranno descritte le rappresentazioni vettoriali per le query e i documenti, e il funzionamento della ricerca vettoriale Approximate K-Nearest Neighbor (KNN).

Mostreremo quindi come la ricerca neurale possa essere utilizzata insieme a tecniche di Deep Learning (ad esempio, BERT) o direttamente su dati vettoriali, e come abbiamo implementato questa funzionalità in Apache Solr.