De wortels van 1. FC Keulen kan worden teruggevoerd tot het jaar 1948, toen verschillende sportclubs in Keulen besloten te fuseren te midden van de naoorlogse reorganisatie van het Duitse voetbal door de geallieerde troepen te bezettenbron). De oprichters hadden een verenigde club voor ogen die de stad op nationaal niveau zou vertegenwoordigen, waardoor de inmiddels bekende naam zou ontstaan: "Effzeh", een afkorting van 'FC', gesproken in het lokale dialect.
Ondanks een bescheiden begin verspilde 1. FC Köln geen tijd om zichzelf te vestigen als een kracht in het Duitse voetbal. In hun eerste seizoen (1949-1950) eindigden ze als tweede achter Borussia Mönchengladbach in Oberliga West, op dat moment misschien wel de zwaarste regionale competitie van Duitsland.
Het was echter pas bij de vorming van de Bundesliga in 1963 dat Effzeh echt nationaal ophef begon te makenbron). Met de legendarische coach Hennes Weisweiler aan het roer en sterspelers als Hans Schäfer aan de leiding, wonnen ze de eerste Bundesliga-titel, waarmee ze hun plaats onder de Duitse voetbalelite verstevigden.