Im Bewusstsein und in der Vorstellung der Europäer sind der Harem als Ort und der Harem als Ansammlung von Frauen abhängig von den Phantasien und Mythen, die sich um den Harem der osmanischen Sultane ranken.
„Die Geschichtsschreibung der islamischen Länder schweigt über Frauen. Dies gilt insbesondere für ländliche Frauen und Frauen der Unterschichten. Aber auch die Hofchroniken enthalten kaum Auskünfte über das Leben der Haremsbewohnerinnen: Der Harem blieb als Wohnort, Erziehungsanstalt und sozialer Raum geheimnisvoll und unerforschlich.“
– Elçin Kürsat
Selbst Berichte und Gemälde europäischer Besucher Konstantinopels, die vor allem seit dem 16. Jahrhundert in großer Zahl entstanden und deren Urheber manchmal vorgaben, alles aus eigener Anschauung zu kennen, waren davon abhängig.
Die vermeintlichen Zustände wurden in der Folge mitsamt dem Namen „Harem“ auf Vergleichbares in anderen Kulturen und Regionen und zu anderen Zeiten übertragen, so zum Beispiel auf den „Harem“ der ägyptischen Pharaonen und der chinesischen Kaiser.