Korzenie 1. FC Köln sięga roku 1948, kiedy kilka klubów sportowych w Kolonii zdecydowało się połączyć w obliczu powojennej reorganizacji niemieckiej piłki nożnej w wyniku okupacji sił alianckich (źródło). Założyciele wyobrażali sobie zjednoczony klub, który będzie reprezentował miasto na poziomie krajowym, dając początek jego znanemu już pseudonimowi – „Effzeh”, skrót od „FC” używanego w lokalnym dialekcie.
Pomimo skromnych początków 1. FC Köln nie tracił czasu na ugruntowanie swojej pozycji jako siła w niemieckim futbolu. W swoim pierwszym sezonie (1949-1950) zajęli drugie miejsce za Borussią Mönchengladbach w Oberliga West, prawdopodobnie najtrudniejszej wówczas lidze regionalnej w Niemczech.
Jednak dopiero utworzenie Bundesligi w 1963 roku Effzeh naprawdę zaczęło robić furorę w całym kraju (źródło). Z legendarnym trenerem Hennesem Weisweilerem na czele i gwiazdami, takimi jak Hans Schäfer na czele, drużyna zdobyła inauguracyjny tytuł Bundesligi, umacniając swoje miejsce w elicie niemieckiej piłki nożnej.