Впервые село Растовцы и существующая там церковь святителя Николая Чудотворца упоминаются в писцовых книгах конца XVI века. Приход села Растовцев занимает сухое, возвышенное местоположение, в 90 верстах от Тулы и 25 верстах от Каширы. Местность прихода не бедна лесами. Приход состоит из села и деревень: Большого Ильинского, Острога, Киреевки, Рожновки и Срезневой, с населением в 700 душ муж. пола и 724 жен. пола; кроме земледелия, многие занимаются работами на фабриках. О времени возникновения прихода сведений не имеется. Предание местное о том, что село когда-то было городом под именем «Растов», не подтверждается никакими документальными данными.
В 1780 году на прежнем церковном месте иждивением помещицы Ксении Логвиновны Натальиной был построен приходской каменный храм в честь Казанской иконы Божией Матери с колокольней. С 1815 по 1817 год храм был приписным. Это здание и колокольня рядом с ним были сложены из кирпича. В середине XIX века в приходе церкви числились, кроме жителей Растовцов, жители еще нескольких деревень.
В 1853 году по инициативе прихожан приходскими помещиками Татариновым и Родичевым храм был капитально отремонтирован, при этом были переделаны окна нижнего яруса, вновь сооружена трехъярусная колокольня. А также с правой стороны был устроен придел во имя святителя Николая. В последующее время усердием помещиков Коптевых и лесопромышленника Горбачева в храме произведены различного рода поправки и поновления. На содержание храма получаются проценты с 475 руб. К храму была приписана небольшая домовая церковь в честь преподобного Сергия Радонежского, которая находилась в усадьбе помещика Василия Коптева в деревне Острога. На содержание ее положен строителем капитал в 1000 руб..
Причт состоит из священника и псаломщика, в пользу причта получаются проценты с 1400 руб. Церковной земли: усадебной 6 десятин, полевой 60 десятин, сенокосной 5 десятин и под кустарником 5 десятин.
В 1875 году при храме была открыта церковноприходская школа.
В советское время храм закрыли и использовали как склад. Во внутреннем интерьере сохранился иконостас стиля классицизма без икон и некоторые фрески на стенах.
25 октября 1991 года здание Казанского храма передано общине верующих, и началось его восстановление.