Na de overwinningen bij Yarmuk en Damascus marcheerde Abu ʿUbayda ibn al-Jarrah ﵁ zuidwaarts om de laatste grote vesting van Byzantijns Palestina te belegeren. Jeruzalem lag op een plateau van zevenhonderdvijftig meter, ingesloten door drie dalen. Tyropoeon in het oosten, Hinnom in zuid en west. De stadsmuren waren oud maar zwaar; de poorten — Damascus in het noorden, Jaffa in het westen, Mest-poort in het zuiden, Leeuwenpoort in het oosten — werden door Byzantijnse garnizoenstroepen bemand.
Abu ʿUbayda ﵁ koos voor een methodische omsingeling in plaats van een directe stormaanval. Hij sloeg zijn hoofdkwartier op ongeveer twee kilometer ten zuiden van de stad, in een siegekamp met goed water en zicht op de zuidpoorten. Drie Muslim-corpsen werden in een halve cirkel rond de westelijke en zuidelijke benadering gepositioneerd. De noordelijke route naar het Byzantijnse achterland werd door cavalerie afgesloten, zodat geen voedsel of versterkingen meer de stad konden bereiken.
Vroege aanvallen op de zuidpoorten, met name de Mest-poort, werden afgeslagen. De Byzantijnse verdedigers losten van de muren pijl- en steenvolleys, en de helling tot aan de muren was zo steil dat een stormaanval onmogelijk werd zonder zware verliezen. Abu ʿUbayda ﵁ trok zijn corpsen terug en concentreerde zich op uithongering.
Het beleg duurde door de winter heen. Voedselvoorraden in de stad dwindleden langzaam. De Byzantijnse keizer kon geen ontzetting sturen; zijn leger in noordelijk Syrië was na Yarmuk niet meer in staat tot offensieve operaties. De verdedigers van Jeruzalem realiseerden zich gaandeweg dat zij alleen stonden. In de lentemaanden begonnen interne stemmen voor onderhandelingen te pleiten.