Ava şi Frank s-au întâlnit din nou în 1948 şi atunci a fost momentul în care au început să petreacă mult timp împreună. Actriţa avea numai 23 de ani, dar deja două divorţuri la activ (cu Mickey Rooney şi Artie Shaw), iar el era bine-mersi însurat încă din 1939, cu Nancy Barbato, care-i făcuse trei copii, însă acest lucru nu l-a împiedicat niciodată pe Sinatra să mai calce şi strâmb.

Gardner şi Sinatra aveau multe lucruri în comun – de la jazz, până la alcool şi sex. Mai mult de-atât, aveau în comun şi un mare defect – erau amândoi nesiguri pe ei şi nu suportau să stea singuri. În primă instanţă, îşi ascundeau relaţia de public şi presă, însă cercul lor de prieteni comuni ştiau deja despre idila pasională dintre ei şi de certurile lor aprinse. În ciuda neînţelegerilor exprimate cât mai strident, cei doi amorezi erau atraşi unul de altul ca-n prima zi.

Întreaga lume a aflat de povestea lor de amor în 1950, când o imagine cu ei împreună a fost publicată în presă. Drept urmare, cariera lui Sinatra a avut de suferit din cauza fanilor lui mai convervatori, care vedeau cu ochi critici asocierea muzicianului cu o vedetă de-o moralitate îndoielnică, precum Ava Gardner.

În 1951, soţia lui i-a acordat mult doritul divorţ şi Frank s-a putut însura cu Gardner, în cadrul unei mici ceremonii în Pennsylvania. Dar dramele nu s-au încheiat atunci. Chiar înainte de nuntă, Ava a primit scrisoarea unei prostituate care susţinea că avea relaţii intime cu iubitul ei de luni de zile.