Il commence sa carrière en tant que musicien de studio durant les années 1960. Il devient un guitariste particulièrement recherché, qui joue notamment pour Michel Polnareff, Johnny Hallyday, Françoise Hardy et le groupe irlandais Them.

Il refuse une proposition de rejoindre les Yardbirds, qu'Eric Clapton venait de quitter. Page leur suggère d'engager son ami Jeff Beck pour le remplacer. Après le départ du bassiste Paul Samwell-Smith, Page rejoint les Yardbirds en temps que bassiste au début, puis guitariste meneur avec Jeff Beck. Peu de temps après, Beck quitte les Yardbirds et monte son propre groupe, le Jeff Beck Group, et engage notamment Rod Stewart au chant, Ron Wood (futur Rolling Stones) et Jet Harris.

Après l'échec de l'album Little Game, il se retrouve seul aux commandes du groupe, mais doit honorer une tournée en Scandinavie. Il recrute alors Robert Plant, John Bonham et John Paul Jones, avant de partir en tournée sous le nom des New Yardbirds.

Au retour de la tournée, triomphale, le groupe change de nom, et s'appelle dorénavant Led Zeppelin. Leur titre le plus célèbre, Stairway to Heaven, est une référence pour tout joueur de guitare électrique.

En 1969, Led Zeppelin apposera les noms Page et Plant sous deux titres écrits en réalité par Willie Dixon et chanté par Muddy Waters : You Shook me et You Need Love (renommé Whole Lotta Love). Dixon leur intentera un procès, qu'il gagnera.

John Bonham meurt en 1980 d'un coma éthylique, étouffé dans ses vomissures après une soirée trop arrosée et, refusant de continuer sans lui, le groupe se sépare. Jimmy Page collabore ensuite à divers projets au cours des années 1980 et 1990.

On a beaucoup parlé de son goût pour l'occultisme et de la fascination pour Aleister Crowley. Ce qui lui confère parfois une certaine aura mystique, certains allant même jusqu'à prétendre que Stairway to Heaven cacherait une incantation satanique révélée en écoutant le morceau à l'envers. Après vérification, peu de gens persistèrent sur cette voie.

L'intérêt pour la magie de Page est, par contre, tout à fait réel, mais à nuancer.

Jimmy Page a profondément marqué le monde de la guitare avec un jeu incisif et un son puissant, chaud et gras qui lui ont valu d'être considéré par beaucoup de musiciens comme le parrain du hard rock. Il a largement contribué à la popularisation de la guitare electrique : Gibson Les Paul.

Le signe de Page, qui peut se lire « Zoso », n'est pas un mot, mais un symbole imprononçable tiré d'un livre runique.