Jean-Yves Le Gall commence sa carrière en 1981 comme chercheur en astronomie au laboratoire d'astronomie spatiale au Centre national de la recherche scientifique (CNRS). Il y travaille sur les projets Hipparcos and ISO (télescope spatial).

En 1985, il rejoint la direction générale de l'industrie au sein du ministère de l'Industrie. Affecté à la sous-direction Espace, il est plus particulièrement chargé des relations avec l'industrie spatiale. En 1988, conseiller technique auprès du ministre des Postes, des Télécommunications et de l'Espace, il participe à l'élaboration des programmes du CNES et de l'Agence spatiale européenne (ESA).

En 1993, il rejoint Novespace, une filiale du CNES, dont il est directeur général. Il est ensuite nommé directeur général adjoint du CNES en 1996 et à ce titre, il est responsable de l'élaboration du plan stratégique et délégué français au Conseil de l'ESA. De 1998 à 2002, il est président-directeur général de Starsem, poste qu'il retrouve en 2006.

En 2001, il rejoint Arianespace en tant que directeur général, puis en est nommé président-directeur général en 2007. Le 3 avril 2013, il est nommé président du CNES par le Conseil des ministres et succède ainsi à Yannick d'Escatha qui avait confirmé son départ au cours de ses vœux 2013. ll a été reconduit dans cette fonction en 2015. Il est aussi coordinateur interministériel pour les programmes de navigation par satellite. Jean-Yves Le Gall est vice-président de l'International Astronautical Federation (IAF), membre de l'International Academy of Astronautics (IAA) et vice-président du cercle Espace du Centre d'étude et de prospective stratégique. Le 16 mars 2017, Jean-Yves Le Gall a été élu à l'unanimité Président du Conseil de l'ESA (Agence Spatiale européenne) à compter du 1er juillet 2017. Sa première décision a été de nommer deux femmes à la vice-présidence. Otylia Trzaskalska-Stroinska (Pologne) et Alice Bunn (Royaume-Uni) ont été élues Vice-Présidentes. Par ailleurs, il est aussi Président du Conseil de chefs d'entreprise France Japon de Medef International et membre du Conseil stratégique franco-mexicain.

Jean-Yves Le Gall est officier de l'ordre national de la Légion d'honneur et officier de l'ordre national du Mérite. Il est titulaire de l'Ordre de l'Amitié de la Fédération de Russie et de l'Ordre du Soleil Levant, Etoile d'Or et d'Argent, décerné par le gouvernement du Japon.

En 2001, il reçoit le prix de l'Astronautique délivré par l'Association aéronautique et astronautique de France (AAAF), en 2005, le magazine Via Satellite le nomme Satellite Executive of the Year.

En 2007, il reçoit le Lifetime Achievement Award décerné par l'Asia-Pacific Satellite Communications Council (APSCC), en 2011, il est reçu au " Hall of Fame " de la Society of Satellite Professionals International (SSPI) et reçoit le prix Icare de l'Association des journalistes professionnels de l'aéronautique et de l'espace (AJPAE)4 et en 2014, le magazine Aviation Week & Space Technology lui décerne son Laureate's Award, catégorie Espace.