بعد وفاة هورودوس بعشر سنوات (4 ق.م.) أصبحت مملكة يهودا تحت الحكم الروماني المباشر. وأثار تصاعد إجراءات القمع للحياة اليهودية من جانب الرومان، تذمراً متزايداً أدى إلى أعمال عنف متفرقة إتسع نطاقها فاصبحت ثورة شاملة في عام 66 م. وفي نهاية المطاف إنتصرت القوات الرومانية المتفوقة بقيادة تيتوس، ودمرت اورشليم كلياً (70 م.) وقضت على آخر قلعة يهودية وهي متسادا (73 م.).
كانت لخراب اورشليم والهيكل انعكاسات خطيرة بالنسبة الشعب اليهودي. ويستفاد مما سرده المؤرخ يوسيفوس فلافيوس الذي واكب تلك الأحداث، إن مئات الآلاف من اليهود قتلوا أثناء الحصارالذي فرضه الرومان على اورشليم وعلى أماكن أخرى من البلاد، واصبح الاف عبيدا
بعد تمرد شمعون بار- كوخبا (132 م.) الذي تمت خلاله استعادة الحكم على يهودا واورشليم، شهدت البلاد فترة قصيرة من السيادة اليهودية. ومع ذلك، لم يكن مناص من النهاية المحتومة بسبب القوة العارمة للرومان. وبعد ثلاث سنوات، قام الرومان، تمشياً مع نهجهم التقليدي، بتدمير اورشليم كلياً، وأطلقوا على يهودا إسم بلستينيا وعلى اورشليم إسم إيليا كابيتولينا.
ورغم هدم الهيكل وإحراق اورشليم كليا صمد اليهود والديانة اليهودية في مواجهتهم مع الرومان. وتم تشكيل السنهدرين، (الذي خلف الكنيست هجدولا) في يافني (70 م.) وبعد ذلك في طبريا. وتمكنت الطائفة اليهودية الصغيرة من إستعادة قوتها تدريجياً، وتلقت الدعم بين الفينة والأخرى إثر عودة بعض اليهود من المنفى. واستؤنفت الحياة الإجتماعية والمؤسساتية، وحل الحاخامات محل الكهنة وأصبح الكنيس محور التوطن اليهودي، كما يستدل من الآثار المتبقية من الكنس التي وجدت في كفار ناحوم وكورازيم وبرعام وجملا وفي أماكن أخرى. وكانت الهلخا (الشريعة اليهودية) العروة الوثقى لليهود وانتقلت من جيل إلى جيل.