Дворянский род Писаревых восходит к XV в., когда, согласно легенде, некий Семен Писарь, выходец из княжества Литовского, перешел на службу к московскому великому князю Василию II Васильевичу (Темному). Князь в 1444 г. пожаловал ему поместье в Коломенском уезде. Древний род Писаревых имеет несколько ветвей. Один из потомков Семёна Писаря носил прозвище Иванчин, он стал зачинателем ветви Иванчиных-Писаревых. Вторую ветвь – Скорняковых-Писаревых – начал правнук Семёна Иван Григорьевич, которого прозвали Скорняковым. Основная ветвь рода Писаревых служила на военном и дипломатическом поприще, за что были жалованы поместьями. Критик Писарев Дмитрий Иванович – один из наиболее известных представителей этой ветви рода. Род Писаревых был внесен в VI часть родословных книг Калужской, Московской, Тамбовской и Тульской губерний .