Apa Itu Sistem Multimodal?

Sistem multimodal merupakan sistem yang memanfaatkan informasi yang ada dalam berbagai modalitas, seperti informasi berbasis teks dan visual. 

Sistem multimodal memungkinkan pengambilan dokumen yang relevan dari sebuah database yang kemiripannya sesuai dengan kueri di lebih dari satu ruang fitur. 

Ruang fitur ini dapat mengambil berbagai bentuk seperti teks, gambar, video, audio, dan lain sebagainya.

Apa Itu Multimodal Search?

Multimodal search adalah kesatuan sistem yang digambarkan dengan sebuah sistem yang mampu menangani pencarian berupa teks dan gambar dalam satu kueri. 

Sistem multimodal memungkinkan pengguna untuk menginputkan suatu kueri melalui antarmuka multimodal search, dan hasil pencariannya pun terbilang mampu memberikan pengalaman pencarian yang lebih intuitif bagi pengguna.

Anda dapat melihat contoh nyata pengimplementasian multimodal search pada situs toko online.

Pencarian multimodal memungkinkan pengambilan dokumen yang relevan dari database yang diindeks. 

Relevansi kueri dengan maksud pencarian pengguna akan dievaluasi dengan cara mengukur kemiripan produk yang tersedia dengan kueri tertentu dalam lebih dari satu format, seperti: teks, gambar, audio, atau video. 

Sederhananya, sistem ini disebut sebagai sistem multimodal search atau pencarian multimodal karena memiliki mekanisme dasar yang mampu menangani beberapa format masukan yang berbeda pada waktu yang sama.

Pentingnya Sistem Multimodal

Jumlah variasi format data yang semakin berkembang setiap waktunya membuat para pengembang perlu merancang multimodal search engine yang efektif untuk memberikan pengalaman pencarian yang lebih baik bagi pengguna.

Selain itu, pengembangan multimodal search menjadi suatu hal yang menarik karena kemampuannya mengambil data dari sebuah kueri dalam format yang berbeda-beda, entah itu teks, gambar, audio, maupun video.

Salah satu cara untuk mengembangkan sistem multimodal yang menarik adalah dengan membangun mesin pencari yang memungkinkan pengguna untuk mengekspresikan kueri input mereka melalui antarmuka multimodal search. 

Tujuan utama dikembangkannya sistem ini adalah untuk mengambil hasil yang relevan dengan kueri input multimodal. 

Maka dari itu, mesin pencari hendaknya dapat menangani modalitas tekstual dan visual secara bersamaan untuk membuat performanya semakin efektif.

Sistem Multimodal & Multilingual

Seperti yang Anda ketahui, sistem multilingual mampu menerima kueri dalam satu bahasa, dan mengambil dokumen yang diindeks dalam bahasa lain. 

Padahal, suatu sistem pencarian dapat dikategorikan sebagai sistem multilingual jika dapat mengambil dokumen yang relevan dari database, dengan mencocokkan konten dokumen, atau keterangan, yang ditulis dalam satu bahasa dengan kueri teks dalam bahasa lain. 

Memasangkan kalimat dalam bahasa lain dengan konsep visual adalah salah satu cara untuk merepresentasikan penggunaan model sistem multilingual.

Hal ini memiliki konsep yang mirip dengan sistem multimodal, di mana multimodal memiliki kemampuan untuk mendefinisikan sebuah kueri dalam format pencarian yang berbeda-beda.

Sistem multilingual yang mampu menggabungkan informasi dari banyak sumber dan banyak bahasa, disebut sistem multimodal multilingual.