Dès 1976, il est détaché au ministère de la culture et exercera plusieurs fonctions au sein de l’Ecole Nationale Supérieure des Beaux arts avant de devenir en 1982, administrateur du Musée national d’art moderne au Centre Georges Pompidou. Il accomplira ensuite un parcours au sein de la direction des Affaires Culturelles de la Ville de Paris dont il sera nommé directeur en 1993.  Il sera nommé en 1996, président du Centre national d'art et de culture Georges Pompidou, mandat renouvelé jusqu’en 2002.

De 2002 à 2004, il est ministre de la Culture et de la Communication au sein du gouvernement de Jean-Pierre Raffarin. Il fait voter la loi qui porte son nom sur le mécénat en 2003, favorisant en particulier de l’acquisition des biens qui, déclarés « trésors nationaux », doivent être conservés en France.

Dans le domaine de la communication, il remet en cause les projets de France Télévisions sur le numérique terrestre, invitant le groupe public à approfondir les missions de service public des chaînes existantes. Jean-Jacques Aillagon est également l’artisan de la loi du 9 juillet 2004 relative aux communications électroniques et aux services de communication audiovisuelle, qui donne notamment un cadre juridique à la relance des télévisions locales. Il négocie avec la Commission de Bruxelles une ouverture limitée et graduelle de la publicité télévisée pour la distribution et une ouverture complète de la publicité télévisée pour la presse, mettant fin à un contentieux qui durait depuis plusieurs années.

Il dépose également le projet de loi DADVSI sur les droits d’auteur.

Il est remplacé en 2004 suite au conflit relatif au régime des intermittents du spectacle qui perturbera tous les festivals de l’été 2003.
Elu conseiller régional UMP de Lorraine en 2004, il est également depuis cette date membre du Conseil économique, social et environnemental. Il devient conseiller de François Pinault qui lui confie la direction du Palais Grassi à Venise, puis il est nommé Président-directeur général de la chaîne de télévision TV5 Monde par son conseil d'administration. Le 6 Juin 2007, il est nommé président de l'Établissement public du musée et du domaine national de Versailles et sera reconduit en juin 2010.

Il a organisé du 10 septembre 2008 au 4 janvier 2009 une exposition Jeff Koons dans le Château de Versailles, en présentant dans les grands appartements et la galerie des Glaces la première rétrospective consacrée en France à cet artiste. Cette exposition a donné lieu à des réactions nombreuses et contrastées dans le monde entier. Jean-Jacques Aillagon a de nouveau invité l’art contemporain au château de Versailles en 2009 avec l’exposition Veilhan Versailles et Murakami en 2010. En parallèle de ces événements, de nombreuses expositions se sont tenues au château de Versailles, comme Fastes de Cour et cérémonies royales, La Guerre sans Dentelles, Louis XIV l'homme et le roi, encore Versailles photographié, 1850-2010 présentée au printemps 2010 ou les Sciences à la Cour de Versailles en octobre 2010.
Jean-Jacques Aillagon poursuit la politique des grands travaux de Versailles nécessaires à la sauvegarde du patrimoine. Parmi les grands chantiers de restauration de ces dernières années, la galerie des Glaces, la grille Royale, le Petit Trianon, les allées du parc, le Belvédère dans le domaine de Marie-Antoinette. Une nouvelle campagne d’adoption des statues et bancs du parc, en vue de leur restauration, a été lancée.