Die Bibel erwähnt Jaffa an mehreren Stellen. So soll der Prophet Jona von einer Hafenstadt Joppe in Richtung Tarsis in See gestochen sein, um sich der göttlichen Weisung zu widersetzen. Nach dem Neuen Testament erweckte hier Petrus Tabitha zu neuem Leben. Später erlaubte ihm hier Gott in einer Vision, alle Tiere zu essen - also auch die, die nach jüdischer Überlieferung nicht koscher sind. An das Wirken des Petrus in Jaffa erinnert noch heute die Katholische St.-Petrus-Kirche.

Woher der Name Jaffa kommt, ist nicht ganz sicher. Teilweise wird der Name auf Yaphet zurückgeführt, der hier nach der Sintflut eine Siedlung errichtet haben soll. Die griechische Tradition führt den Namen auf Iopeia zurück. Gemeint ist Kassiopeia, Tochter der Andromeda. Dieser Überlieferung verdient der Andromeda-Felsen seinen Namen, auf dem Poseidon Andromeda gefangen gehalten haben soll. Andere führen den Namen auf das hebräische Wort yafe zurück, was nichts anderes bedeutet als "schön". Zumindest die zuletzt genannte Theorie kann man noch heute mit eigenen Augen nachvollziehen.

Jedenfalls existierte seit der Bronzezeit eine Hafenstadt an der Stelle des heutigen Jaffa Lange Zeit befand sich die Stadt unter ägyptischer Herrschaft. Unter den Königen David und Salomon wurde die Stadt von den Juden erobert und befestigt. Der Hafen soll genutzt worden sein, um die im Libanon gefällten und per Floß angelieferten Zedern für den Bau des Tempels in Jerusalem zuladen. Nach dem Zerfall des Reichs Israel wurde die Stadt von verschiedenen Herrschern erobert. Beim Einmarsch der Römer wurde die Stadt niedergebrannt. Nach Berichten des Geschichtsschreibers Flavius Josephus sollen 8.000 Einwohner dabei den Tod gefunden haben.

Zu Beginn des Mittelalters versank Jaffa in Bedeutungslosigkeit. Im Jahr 675 wurde die Stadt von Arabern erobert und befand sich unter islamischer Herrschaft, bis sie im 11. Jahrhundert von den Kreuzfahrern erobert wurde. In dieser Zeit entstand die Grafschaft Jaffa, die Bestandteil des Königreichs von Jerusalem war. 1268 eroberten die Mameluken die Stadt und beendeten die Herrschaft der Kreuzfahrer.