خوفه من التقصير في خدمة المسلمين وكان يستشعر عظم المهمة التي حملها فكان بعد رجوعه من جنازة سليمان مغتمًا، فسأله مولاه: مالي أراك مغتمًا؟ قال: لمثل ما أنا فيه فليغتم، ليس أحد من الأمة إلا وأنا أريد أن أوصل إليه حقه غير كاتب إلى فيه ولا طالبه مني. وذات يوم دخلت عليه امرأته وهو في مصلاه تسيل دموعه على لحيته فقالت يا أمير المؤمنين أ لشيء حدث؟ قال: يا فاطمة إني تقلدت من أمر أمة محمد صلى الله عليه وسلم أسودها وأحمرها فتفكرت في الفقير الجائع والمريض الضائع والعاري والمجهود والمظلوم والمقهور والغريب والأسير والشيخ الكبير وذي العيال الكثير والمال القليل وأشباههم في أقطار الأرض وأطراف البلاد فعلمت أن ربي سائلي عنهم يوم القيامة فخشيت ألا تثبت لي حجة فبكيت. بالعدل لا بالقهر يصلح الناس كان أول مرسوم اتخذه، عزل الوزراء الخونة الظلمة الغشمة، الذين كانوا في عهد سليمان، استدعاهم أمامه وقال لشريك بن عرضاء: اغرُب عني يا ظالم رأيتك تُجلس الناس في الشمس، وتجلد أبشارهم بالسياط، وتُجوّعهم وأنت في الخيام والإستبرق. وفي أحد المواقف كتب إليه واليه على خراسان واسمه الجراح بن عبد الله يقول: إن أهل خراسان قوم ساءت رعيتهم وإنه لا يصلحهم إلا السيف والسوط فإن رأى أمير المؤمنين أن يأذن لي في ذلك فكتب إليه عمر: أما بعد فقد بلغني كتابك تذكر أن أهل خراسان قد ساءت رعيتهم وإنه لا يصلحهم إلا السيف والسوط فقد كذبت، بل يصلحهم العدل والحق فابْسط ذلك فيهم والسلام.