En 1968, lorsque les Yardbirds se séparent, Jimmy Page est encore sous contrat et doit honorer des dates de concerts. Alors il recherche des musiciens pour former un nouveau groupe avec le manager des Yardbirds, Peter Grant. John Paul Jones apprend la nouvelle et contacte Jimmy Page avec qui il a déjà travaillé lors de différentes sessions studio. Jimmy Page, connaissant le professionnalisme de John Paul Jones, l'accepte tout de suite. Pour le chanteur, Jimmy Page pense tout d'abord à Steve Marriott,le chanteur des Small Faces puis à Terry Reid. Celui-ci décline l'offre mais l'oriente vers un jeune chanteur qui l'a impressionné, Robert Plant. Jimmy Page l'écoute en concert et est, à la fin du concert, enthousiasmé. Il ne manque plus que le batteur. Robert Plant connaît un batteur surdoué avec qui il a joué au sein d'un groupe de rock : John Bonham. Ce dernier refuse d'abord l'offre puisqu'il était entré en contact avec Joe Cocker pour occuper un poste stable au sein de son groupe. Mais sous la pression de Jimmy Page et de Peter Grant, il accepte finalement l'offre et le quatuor forme les New Yardbirds, qui partent alors en tournée en Scandinavie. Ils empruntent un look très proche à celui des Who et le son au Jeff Beck's Group.
Pour ne plus s'afficher comme les Yardbirds et pour marquer un tournant musical, Les New Yarbirds changent leur nom pour Led Zeppelin le 9 novembre 1968 lors d'un concert au London Roundhouse à Chalk Farm (en Angleterre). C'est le batteur Keith Moon du groupe The Who qui donna l'idée du nom Led Zeppelin avec sa phrase: « Ce groupe va couler comme un dirigeable de plomb. »

Les débuts

Leur manager, Peter Grant, obtient un contrat de cinq ans avec la maison de disque Atlantic Records. Ils enregistrent leur premier opus en une trentaine d'heures pendant leur tournée en Angleterre ce qui lui donnera l'aspect d'un album live. Led Zeppelin sortira le 12 janvier 1969 quatre mois après leur premier concert. Cet album éponyme, fortement influencé par le blues et le folk, propose des riffs ravageurs et un chanteur puissant. Après l'annulation du Jeff Beck's Group de leur tournée aux Etats-Unis, Peter Grant saute sur l'occasion et les remplace par Led Zeppelin en première partie des concerts de Vanilla Fudge, d'Alice Cooper et d'Iron Butterfly. Durant cette tournée, le public américain est conquis par les solos démonstratifs de Jimmy Page, les interprétations personnelles et improvisations : des morceaux, comme Dazed and Confused, pouvaient durer plus de trente minutes. Certains groupes refusent tout simplement de remonter sur scène. A partir de ce moment, Led Zeppelin sera seul en tête d'affiche.

Ils enregistrent au cours de leur voyage un deuxième disque, Led Zeppelin II (sorti le 22 octobre 1969), dans la même veine que le précédent opus. Cet album donnera au groupe une notoriété qui fera de lui le plus gros vendeur du début des années 1970. La presse sera pourtant divisée, certains leur reprochant leur sexisme ou une certaine violence parfois injustifiée

Apogée de la gloire Titre du quatrième album de Led Zeppelin.

Leur album suivant, Led Zeppelin III (sorti le 5 octobre 1970), montrera que le groupe ne se résume pas à quelques accès de guitares rageuses et à la voix agressive de Robert Plant. La moitié du disque sera composée exclusivement de ballades folk. La réputation sulfureuse que Led Zeppelin se forge est due à de nombreux écarts : chambres d'hôtel dévastées, groupies et abus de drogues, entre autres.

Leur 4^e album,(dont la pochette ne possède ni un nom d'album, ni le nom du groupe), est sorti le 8 novembre 1971. Certains textes sont inspirés du Seigneur des anneaux de Tolkien et sont empreints d'occultisme. Ce sera leur album le plus vendu grâce au classique Stairway to Heaven. C'est un album équilibré où l'on sent que le groupe a atteint sa pleine maturité. Les compositions sont riches et variées, passant du folk au hard rock avec aisance.

Deux ans plus tard, le groupe sort Houses of the Holy le 28 mars 1973, premier disque ayant un titre à proprement parler. L'album est très varié, Led Zeppelin s'essayant au reggae ou au funk, et perdant ainsi un peu de sa spontanéité. En cette même année, Robert Plant, dont la voix est usée par des tournées à répétition (450 concerts en quatre ans), subit une opération des cordes vocales qui le laissera aphone pendant plusieurs semaines.

En 1974, le groupe crée son propre label : Swansong, qui produira plusieurs groupes et financera une partie du premier film des Monty Python: Sacré Graal.

Le 24 février 1975, le groupe publie son sixième album studio (double), intitulé Physical Graffiti. Pour beaucoup, il s'agit du dernier grand album de Led Zeppelin.