Karlovassi leží na severozápadním pobřeží ostrova Samos, necelých 32 kilometrů od stejnojmenného hlavního města. V současné době ho obývá cca 5,5 tisíce obyvatel, což ho řadí k největším sídlům ostrova. Ke Karlovassi neodmyslitelně patří i sakrální stavby, turisté zde mohou navštívit množství kostelů, kostelíčků i kapliček. Mezi nejvýznamnější patří kostel Agios Nikolaos. V dřívějších dobách bylo letovisko nejdůležitějším sídlem ostrova, a to zejména ekonomickým a průmyslovým.

Bylo přezdíváno ekonomické srdce ostrova. Jako upomínka na tuto dobu se zde nachází ruiny fabrik i neupravované, téměř rozpadlé domy, ve kterých se zpracovávala kůže a tabák. K dominantám patří i přístav.

Výstavní domy centra ostře kontrastují s architektonickými pozůstatky po průmyslové výrobě, i to však řadě návštěvníků letoviska, které je vzdáleno 55 km od letiště, připadá romantické. Právě pro tyto kontrasty se o Karlovassi říká, že je to láska na druhý pohled.