SC Freiburg, koko nimi Sport-Club Freiburg eV, perustettiin 30. toukokuuta 1904 nimellä FC Schwalbe Freiburg. Aluksi voimisteluseura, jalkapalloosasto erotettiin kokonaan vasta vuonna 1912. Seuran virallinen nettisivu tarjoaa laajan historian sen muodostumisesta.
Alkuvuosinaan joukkue vaihteli divisioonien välillä, mutta saavutti suhteellisen menestyksen saavuttamalla Bezirkliga Badenin 1920-luvun lopulla ja 1930-luvun alussa. Toinen maailmansota toi kuitenkin haasteita jokaiselle saksalaiselle jalkapalloseuralle, sillä säännöllinen peli keskeytettiin ja monet pelaajat otettiin asepalvelukseen.
Sodan jälkeisenä aikana SCF kamppaili saada kestävää vauhtia taloudellisten vaikeuksien ja epäjohdonmukaisten suoritusten vuoksi. Mutta asiat alkoivat lopulta kääntyä positiivisesti, kun he pääsivät ylennyksen Bundesliigaan ensimmäisen kerran vuonna 1981 manageri Jupp Zlatkon johdolla.