Ella a excelat la şcoală şi a învăţat notele muzicale cu o viteză fantastică. Nu-i de mirare că visa cu ochii deschişi la ziua în care avea să devină cântăreaţă, iar vecinii ei şi-o amintesc doar fredonând muzică în primii ei ani de viaţă!

În 1932, însă, întreaga viaţă a fetei s-a schimbat din momentul în care a rămas orfană, la 15 ani, când şi-a pierdut şi singurul părinte care-i mai rămăsese pe lume. Mental Floss precizează că adolescenta suferea un abuz cumplit din partea tatălui ei vitreg, lucru care a determinat-o să se mute la mătuşa ei din Harlem. Însă întreaga mutare n-a fost de bun augur pentru tânăra care s-a lăsat de şcoală, la scurt timp, şi s-a apucat de tot felul de ilegalităţi.

Astfel, adolescenta debusolată devenise persoana care dădea de şase la intrarea unui bordel şi vindea bilete în cadrul unei loterii ilegale. Drept urmare a comportamentului ei rebel, a ajuns la un azil pentru orfani din Bronx, Riverdale Colored Orphan Asylum pe numele lui.