Le radici di 1. FC Colonia può essere fatto risalire all'anno 1948, quando diverse società sportive di Colonia decisero di fondersi nel contesto della riorganizzazione postbellica del calcio tedesco occupando le forze alleate (fonte). I fondatori immaginavano un club unito che rappresentasse la città a livello nazionale, dando vita al suo soprannome ormai familiare: "Effzeh", abbreviazione di 'FC' parlato nel dialetto locale.
Nonostante gli umili inizi, l'1. FC Köln non ha perso tempo ad affermarsi come una forza nel calcio tedesco. Nella loro prima stagione (1949-1950), finirono secondi dietro al Borussia Mönchengladbach nell'Oberliga West, probabilmente il campionato regionale più duro della Germania a quel tempo.
Tuttavia, fu solo con la formazione della Bundesliga nel 1963 che Effzeh iniziò davvero a fare scalpore a livello nazionale (fonte). Con il leggendario allenatore Hennes Weisweiler alla guida e fuoriclasse come Hans Schäfer in prima linea, vinsero il titolo inaugurale della Bundesliga, consolidando il loro posto nell'élite del calcio tedesco.