Pisalo se da je bila s Taylor Swift, a onda se udala: Karlie i dalje dominira pistama, ali to nije sve

Poznata je i dugogodišnjem prijateljstvu s Taylor Swift. Često su zajedno pozirale na crvenim tepisima, objavljivale zajedničke fotografije i provodile praznike zajedno. Karlie je bila i dio Taylorinog poznatog "girl squada", a čak se 2015. pojavila u njezinom spotu za pjesmu "Bad Blood". Iako nikada nisu javno objavile prekid prijateljstva, fanovi su počeli primjećivati znakove udaljavanja oko 2017. godine. Američki mediji objavljivali su i navode da su Karlie i Taylor godinama bile u tajnoj vezi, ali ostalo je na spekulacijama.