Juuret 1. FC Köln voidaan jäljittää vuoteen 1948, jolloin useat Kölnin urheiluseurat päättivät yhdistyä keskellä sodanjälkeistä Saksan jalkapallon uudelleenjärjestelyä miehittämällä liittoutuneiden joukot (lähde). Perustajat visioivat yhdistyneen klubin, joka edustaisi kaupunkia kansallisella tasolla ja synnyttäisi sen nyt tutun nimimerkin – "Effzeh", lyhenne sanoista "FC", jota puhutaan paikallisella murteella.
Huolimatta vaatimattomasta alusta, 1. FC Köln ei tuhlannut aikaa vakiinnuttaakseen asemansa Saksan jalkapallon voimana. Neitsytkaudellaan (1949-1950) he sijoittuivat toiseksi Borussia Mönchengladbachin jälkeen Oberliga Westissä, joka oli kiistatta tuolloin Saksan vaikein alueliiga.
Kuitenkin vasta Bundesliigan muodostumisessa vuonna 1963 Effzeh alkoi todella tehdä aaltoja kansallisesti (lähde). Legendaarisen valmentajan Hennes Weisweilerin johdolla ja tähtipelaajien, kuten Hans Schäferin, johdolla, he voittivat Bundesliigan avausmestaruuden, mikä vahvisti paikkansa Saksan jalkapalloeliittien joukossa.