Mais la route pour y parvenir est longue et, surtout, dangereuse : brigands, voleurs et pillards de toutes confessions se succédant pour dépouiller, brutaliser ou tuer ces pèlerins. Pour certains nobles ayant contribué à la prise de Jérusalem, cette situation n'est pas acceptable. Après la prise de Jérusalem et la fondation d'États latins en Palestine, en 1099, une confrérie de « chevaliers du Saint-sépulcre » avait d'abord été fondée, attachée au service d'une église construite sur le tombeau du Christ dans la ville sainte. Les guerriers qui la composaient étaient des seigneurs venus d'Occident. Ils avaient pour mission de protéger les chrétiens venus en pèlerinage aux Lieux Saints et, plus largement, de contribuer à la garde des terres conquises à l'issue de la Première Croisade.
C'est en 1118 que deux chevaliers animés de la ferveur millénariste des croisés, vivant sous la Règle des chanoines de Saint Augustin, Hugues de Payns, un noble champenois, et Geoffroy de Saint-Omer, créent une « milice chrétienne » (militia christi ). Bientôt, Hugues de Payns et ses compagnons voulurent acquérir le statut d'hommes de Dieu à part entière et prononcer des vœux religieux qui feraient d'eux des moines soldats. Le patriarche de Jérusalem approuva cette initiative en 1119 et, le 23 janvier 1120, lors du concile de Naplouse, la milice est officiellement reconnue par la papauté sous le nom de « milice des Pauvres chevaliers du Christ ».
Baudouin II, le roi de Jérusalem, leur offrit pour quartier général une aile de son palais, situé à l'emplacement de l’ancien temple de Salomon (sur l'actuelle esplanade des Mosquées). Dès lors, la milice voit son nom changé en « ordre des Pauvres chevaliers du Christ et du Temple de Salomon » afin de marquer son allégeance au temple supposé avoir abrité l'Arche d'Alliance, d'après l'Ancien Testament. On crut généralement, en Occident, que leur siège était à l'intérieur même du Temple de Salomon. Mais c'était en réalité à proximité d'un lieu que les Croisés avaient rebaptisé le « Temple du Seigneur » : le Dôme du Rocher, une mosquée construite par les musulmans à la place de l'ancien Temple de Salomon.
Sept chevaliers francs sont venus rejoindre les deux fondateurs de l'ordre, qui commencera ses activités par la défense du défilé d'Athlit, l'un des lieux les plus dangereux sur la route des pèlerins. L’Ordre des Templiers était né.
