La tecnica del mosaico ha origini antichissime, ritenuta da alcuni come tra le prime forme artistiche, insieme alla scultura. Tra le prime ad adottarlo fu la civiltà dei sumeri, ad Ur e Uruk, con lo scopo di proteggere le costruzioni di mattoni crudi. Le tessere in argilla erano di forma conica, smaltate di bianco, nero e rosso, da inserire nella malta fresca. Nello Stendardo di Ur, un leggìo decorato e portatile, la tarsia era composta da lapislazzuli, conchiglie e calcare rosso. In Egitto si hanno ritrovamenti di  mosaici, sempre di forma conica, risalenti al III millennio a.C.
Nella ceramica erano utilizzati tasselli di madreperla, lapislazzuli, mentre sui sarcofagi egizi venivano applicate composizioni di pietre dure, pietre preziose e vetro.
In generale, venivano usati materiali litici, di origine diversa, per la protezione dall’usura delle pareti in mattoni crudi e dei pavimenti e per la loro impermeabilizzazione. Infatti, sin dall’epoca greca, ma soprattutto in epoca romana, i pavimenti erano realizzati in terra battuta.   
In periodo minoico-miceneo (II millennio a.C.), in alternativa dei tappeti, si iniziò ad usare pavimentazione a ciottoli.  Il mosaico pavimentale di Gordion (VIII secolo a.C), capitale della Frigia, ovvero l’odierna Turchia, sfruttava questa tecnica. Essa venne perfezionata in periodo ellenistico a Pella (luogo di nascita di Alessandro Magno), nel V secolo a.C, poiché, nonostante la scarsità di colori, si iniziò a comporre con i ciottoli delle figurazioni: animali, scene di caccia e scene mitologiche.
Nel V-IV secolo a.C., in Grecia, abbiamo mosaici pavimentali di sassolini (lithostrota), veri e propri pavimenti di pietra. Progredendo (IV secolo a.C. ) i sassolini verranno sostituiti da cubetti di marmo, onice e pietre di diversi tipi. Nel III secolo a.C. i cubetti cederanno il passo alle tessere tagliate. Poiché il mosaico stilisticamente sostituiva il tappeto, si iniziò a comporlo con misure ridotte rispetto alla stanza. L’applicazione centrale, contornata da fasce concentriche,  venne denominata èmblema. Le dimensioni delle tessere continuarono a diminuire sempre più, fino al concetto che abbiamo del mosaico oggi. Il mosaico rivaleggiò, già in epoca greca, con la pittura.

Il mosaico in età romana era già conosciuto dal III secolo a.C.. Con la conquista della Grecia e delle provincie orientali, si ha un travaso culturale per quanto riguarda questa tecnica. Tuttavia la sua diffusione e applicazione fu alquanto lenta. I tecnici, per lo più, provenivano dalla Grecia, per cui le prime raffigurazioni seguirono il gusto greco: come le Colombe abbeverantisi e i Paesaggi nilotici. Roma, in età imperiale, si affrancò da questo e iniziarono nuovi tipi di composizioni, come: motivi geometrici, arabeschi e vegetazione stilizzata. Il mosaico a colori era ritenuto costoso, perciò molte pavimentazioni erano eseguite con mosaici in bianco e nero. I mosaici bicromi erano utilizzati soprattutto nelle terme e negli ambienti pubblici (epoca adrianea, della prima metà del II secolo d.C.). Nei palazzi imperiali del Palatino e nella Villa Adriana di Tivoli, è applicato, invece, il cosiddetto sectilia, pavimenti in commessi di marmo.
A Pompei (del II secolo a.C.) è una copia musiva, a quattro colori, della Battaglia di Alessandro, quadro eseguito da Filosseno d'Eretria nel IV secolo a.C. Va ricordato anche il mosaico di Nettuno e Anfitrite, nell'omonima casa ad Ercolano, e quello di Venere nella Casa dell'Orso a Pompei.

I mosaici a colori di tipo ellenistico erano rari e venivano applicati, soprattutto, nelle province dell’impero. In Africa si formò una buona scuola di mosaicisti specializzati nei mosaici figurativi, mentre quelli geometrici erano diffusi nelle Gallie. La loro arte contagiò anche la Sicilia. Esempio maestoso di mosaici in epoca romana è la famosa Villa del Casale di Piazza Armerina (EN). La superficie a mosaico, nella villa patrizia siciliana, ricopre oltre 3000 metri quadri di superficie. Tra le tante tematiche rappresentative, eccelle quella della Grande Caccia, con rappresentazioni di animali africani d’ogni tipo, o quello, altrettanto famoso, delle bagnanti romane in costume a due pezzi (un vero e proprio bikini).
La diffusione durante l’impero fu così grande, che, esistendo numerosissime tecniche e di mosaicisti specializzati per l’applicazione, da richiedere, nall'Edictum de Pretiis Rerum Venalium (Editto sui prezzi massimi) di Diocleziano e nel Codice teodosiano, la ridefinizione delle tipologie del lavoro divise secondo le specialità.