清代，属鸣鹿镇。

1931年4月，属境内第一区。

1945年9月，属近悦镇；1948年，属城关区。

1951年6月，属菩提区段楼乡。

1958年，设立胡堂生产大队。

1958年8月，属城关人民公社。

1965年11月，属城郊人民公社。

1984年，撤销胡堂生产大队，设立胡堂村民委员会。

1984年6月，属城郊乡。

2006年1月，属西城办事处。

2008年10月，属鸣鹿街道。

2013年，根据鹿政文[2013]65号文件批复，成立胡堂居民委员会。

2020年，设立卫德居民委员会，属鸣鹿街道至今。