M'sila est située à 248 km d'Alger et à 60 km de Bordj Bou-arréridj, sur l'oued Ksob, à 475 m d'altitude. Cette ville occupe une position stratégique, au contact du Tell et du bassin du Hodna au milieu de terres irriguées. Les Romains ont construit, dans la région, les villes de Zabi, à Bouchelgha, à 5 km au sud-est de la ville actuelle et Aras, à Tarmout, à 38 km au nord-ouest. Il reste très peu de vestiges de l'époque romaine, mais on a découvert, récemment, une mosaïque du IIIe siècle lors de travaux d'une salle de soins dans la commune de Dehahna. La mosaïque de 6,18 m de long sur 4,4 m de large, détériorée à certains endroits, représente une chasse au sanglier. Elle comporte deux cadres ornementaux, le premier formé de cercles entrecoupés, le deuxième de motifs végétaux. La ville a été fondée en 928 par le Fatimide abou Al-qasim sans doute sur le site d'un village berbère. Les chroniques évoquent Al-Qasim, monté sur son cheval, indiquant, de sa lance, aux architectes et aux constructeurs, l'enceinte de la ville. Les voyageurs musulmans, tels que El-Bekri, décriront la ville de Massilya, comme une ville prospère, spécialisée notamment dans la culture du coton.
