Eski Yunan'da yer alan kapalı spor salonlarında spor yapan erkek sporcular çıplak olurdu. Bu yüzden bu salonlara çıplak anlamına gelen "gymnos" sözcüğünden türeyen "gymnasion" adı verildi. Bu salonlarda yapılan her türlü harekete de "gymnastike" adı verildi. İşte bugün pek çok dilde aynı şekilde kullanılan "jimnastik" adı buradan gelir.
Dünya üzerinde bilinen ilk jimnastik kulübü 1850 yılında Amerika'da kurulmuş olsa da bu sporun gelişip yaygınlaşmasında İsviçreli Peter Henrik Ling ve Alman Friedrich Ludwig Jahn adlı sporcuların katkısı büyüktür. Uluslararası Jimnastik Kulübü (FIG) ise 1881 yılında kurulmuştur.
Günümüzde jimnastik sporu daha çok kapalı alanlarda aletli ve aletsiz jimnastik olmak üzere iki ana dalda yapılmaktadır. Aletsiz jimnastiğe yer hareketleri de denir. Düz bir zeminde alet kullanmadan genellikle müzik eşliğinde birbiri ardına kesintisiz olarak yapılan hareketlere aletsiz jimnastik denir. Aletsiz jimnastikte denge, zarafet, esneklik gibi unsurlar ön plana çıkmaktadır. Aletli jimnastikte ip, lobut, halka, kurdele, çember, top, halka gbi hafif aletlerin yanı sıra kulplu beygir, halka, barfiks gibi vücudun bütün ağırlığını çekebilen ve daha çok güce dayalı ağır aletler de kullanılmaktadır.
Erkek jimnastikçiler alet olarak atlama beygiri, barfiks, paralel bar, kulplu beygir ve halka adı verilen beş aleti kullanırken kadın jimnastikçiler ise kurdele, top, lobut gibi hafif aletler kullanırlar. Aletsiz ve hafif aletli jimnastik 12 x 12 ebatlarında zemin halı ya da plastik bir kaplama malzemesiyle kaplı bir alanda yapılır. Özellikle kadın jimnastikçilerin yer hareketlerinde müzik eşliğinde yaptıkları hareketler adeta bir dans etkisi yaratır. Müzik eşliğinde kurdele, lobut, çember, top gibi hafif aletlerle yapılan jimnastiğe "Ritmik Jimnastik" denilir.
Ülkemizde jimnastik sporu ilk defa Galatasaray Lisesi'nde görevli Ali Faik Üstünidman adlı spor hocasının sayesinde başlamıştır. Mazhar Kazancı, Selim Sırrı Tarcan gibi ünlü isimler Türkiye'de jimnastik sporunun gelişip yaygınlaşmasında ve profesyonel anlamda yapılmasında ön ayak olan kişilerdir. 1960 yılına geldiğimizde ülkemizde kurulan Jimnastik Federasyonu ile bu spor daha ciddi ve gelişmiş bir hal almaya başlamıştır.