Rădăcinile lui 1. FC Köln poate fi urmărit încă din anul 1948, când mai multe cluburi sportive din Köln au decis să fuzioneze pe fondul reorganizării postbelice a fotbalului german prin ocuparea forțelor aliate (sursă). Fondatorii și-au imaginat un club unit care să reprezinte orașul la nivel național, dând naștere numelui său cunoscut acum - "Effzeh", prescurtare pentru „FC” vorbită în dialectul local.
În ciuda începuturilor umile, 1. FC Köln nu a pierdut timpul pentru a se impune ca forță în fotbalul german. În sezonul lor inaugural (1949-1950), ei au terminat pe locul doi în spatele Borussia Mönchengladbach în Oberliga West, probabil cea mai dură ligă regională a Germaniei la acea vreme.
Cu toate acestea, abia după formarea Bundesliga în 1963, Effzeh a început cu adevărat să facă furori la nivel național (sursă). Cu antrenorul legendar Hennes Weisweiler la cârmă și jucători vedete precum Hans Schäfer conducând din față, aceștia au câștigat titlul inaugural din Bundesliga - cimentându-și locul în elita fotbalului german.