A 12 ans, Randy s'intéressa à la guitare rock. Randy utilisait alors une guitare de sa mère, une semi-acoustique Harmony, qui était, à l'époque, aussi large que lui...
Randy joua différents groupes comme The Katzenjammer Kids et Mildred Pierce, avant de former Little Women en 1976 avec un ami d'enfance, le bassiste Kelly Garni. Kelly et Randy ont ensuite rencontré leur futur chanteur Kevin DuBrow part l'intermédiaire d'un ami commun de Hollywood.Randy et Kelly ont auditionnés Kevin Dubrow dans la cuisine de la maison des Rhoads. Kevin chanta puis aurait dit quelque chose du genre: "si cela ne vous plait pas, dites le et je pars. Randy et Kelly aurait décidé de travailler avec Kevin en pensant qu'avec du travail cela irait sans doute mieux.
Little Womense transforma rapidement en Quiet Riot. Ce nom fut en fait une idée d'un ami de Kevin, membre du groupe Status Quo. Quiet Riot devint rapidement un des meilleurs show de la région de Los angeles.Alors qu'il y avait une possibilitée pour Quiet Riot de faire une tournée Japonaise, leur management déclina l'offre et Quiet Riot tourna aux Etats-Unis dans les écoles les lycés et dans les les clubs de la région de Los Angeles.
Fin 1979, à la demande d'un ami, Randy Rhoads fit une audition pour un groupe que l'ex-chanteur de Black Sabbath, Ozzy Osbourne, était en train de monter. Celui-ci, heureux avec Quiet Riot, n'était pas intéressé par cette audition et pensait qu'elle n'aurait pas de suite. Mais Randy entra dans le studio d'Ozzy avec une guitare et un petit ampli Fender, se brancha et commenca à jouer.Il fit simplement quelques exercices d'échauffement et eu le job immédiatement, Ozzy impressioné.
Une tournée (mémorable) eut lieu qui fut marquée par quelques incidents: le boycott de leur concert dans de nombreusse villes par la ligue de protection des animaux (Ozzy fit effectivement quelques misères à des chauves souris et des colombes sur scène...Mais n'oublions pas le symbole).
Le 18 mars 1982, Ozzy Osbourne fit un concert au civic Coliseum (Knoxville, Tennessee) ce qui sera son dernier show avec Randy Rhoads. Depuis Knoxville, le groupe se rendi à Orlando en Floride, pour le concert prévu au Rock Super Bowl XIV avec Foreigner, Bryan Adams et UFO.
Le bus arriva à Flying Baron à peu prés à 8 heures du matin le 19 mars 82 et se gara à environ 30 mètres de la piste d'attérissage et à 3 mètres, en face, de la maison qui sera plus tard théatre de l'accident .
Vers 9 heure du matin, Andrew Aycock, Rachel Youngblood et Randy allèrent faire un tour dans l'avion, la question étant pourquoi Randy y est-il monté, alors qu'il avait toujours eu une peur panique de ces bordels là... (Notons que nous avons retrouvé des traces de cocaïne dans ce qu'il restait des trois passagers...)
Andrew commença à s'"amuser" à faire voler l'avion le plus près possible du sol, passe une fois, deux fois, trois fois, la quatrième on s'écrase...L'avion, exception de l'aile gauche qui traversa le bus, heurta ensuite un arbre avant de s'écraser dans le garage situé sur la face ouest de la maison de Jerry Calhoun. L'avion volait a peu prés à 3 mètres du sol à une vitesse de 120/150 noeuds au moment de l'impact.
Randy Rhoads fut mit en terre à San Bernadino, en Californie.
