Il s'inscrit en architecture à l'École des beaux-arts de Bordeaux en 1964, et est admis en 1966, premier au concours d’entrée, à l'École nationale supérieure des Beaux-Arts de Paris dont il sort diplômé en 1972. Après avoir travaillé avec Claude Parent de 1967 à 1970, il fonde sa première agence en 1971 avec François Seigneur. Avec l’aide du critique Georges Boudaille , il devient l’architecte de la Biennale de Paris ; il fonde la Biennale d'architecture dans ce cadre en 1978.
Il est choisi en 1981 pour la réalisation du premier des grands travaux du Président mitterrand, l'Institut du monde arabe, dont la façade à moucharabiehs, terminée en 1987, le fait connaître au grand public, la même année. Il réalise ensuite l'immeuble de logements sociaux Nemausus 1 de Nîmes, l'Opéra de Lyon qu'il coiffe d'une grande verrière en 1993, et la Fondation Cartier tout en verre en 1994.

Le Palais de la culture et des congrès de Lucerne, inauguré en 1999, lui permet d'acquérir une dimension internationale. Parmi ses principales réalisations à l’étranger, on peut citer la Dentsu Tower de Tokyo, l'extension du Musée Reina Sofía de Madrid, la Tour Agbar de Barcelone, l’auditorium de Copenhague et des projets comme le Louvre Abu Dabi ou la tour Hines à New York. Il continue cependant à travailler en France et sera choisi pour bâtir le Musée du quai Branly, inauguré le 23 juin 2006 par Jacques Chirac ou la future Philharmonie de Paris.

Militant pour un renouveau de l'architecture en France, il co-fonde le mouvement « Mars 1976 », en opposition à l'héritage de la Charte d'Athènes, et participe à la création du Syndicat de l'architecture, en rupture avec l'Ordre des architectes. En 1975, il est l'un des principaux organisateurs du contre-concours international pour l'aménagement des Halles de Paris, et prend la tête de l'Association pour la mutation de l'île Seguin (Amis) en 2001 pour s'opposer à la destruction des usines Renault.

Il a reçu le 30 mars 2008, le prix Pritzker pour l'ensemble de sa carrière dans laquelle le jury a décelé le courage « d'idées nouvelles » et une propension à « mettre au défi les normes pour élargir les limites du domaine ». Il reconnaît au travail de Nouvel « la persistance, l'imagination, l'exubérance et, par-dessus tout, une insatiable envie d'expérimentation. On peut également dire qu’il n'y a pas de signature Nouvel, pas d'édifice typique qui résumerait l'allure de tous les autres. Mais il y a les principes. Jean Nouvel prône sans cesse la spécificité, l'adéquation au programme, le respect du contexte.

De 2008 à 2009 Jean Nouvel est à la tête d'une équipe pluridisciplinaire avec laquelle il participe à la consultation sur « Le Grand Pari(s) de l'agglomération parisienne »lancée par le président Sarkozy. En juillet 2009, il est retenu comme architecte coordonnateur de l’ensemble des projets de l’île Seguin.