“父母官”一词来源于《礼记·大学》：“《诗》云：‘乐只君子，民之父母。’民之所好好之，民之所恶恶之，此之谓民之父母。”《孟子·梁惠王上》：“为民父母，行政，不免于率兽而食人，恶在其为民之父母也？”在这些先秦文献中“父母”是指百姓的统治者，甚至是国君。汉代曾出现了的两个非常有政绩的地方官：西汉的召信臣、东汉的杜诗。据《后汉书》载杜诗为南阳太守，深受百姓爱戴，百姓将之与前代的召信臣相比，于是就有了“前有召父，后有杜母”之说，这时“父母”一词已经有了地方官的含义。宋初王禹偁《谪居感事》诗：“万家呼父母。”其自注：“民间呼令为父母官”。这便是将地方官比作父母官的最早出处。
在封建社会，父母是子女的主宰，同时父母又最疼爱自己的子女，所以父母官就兼具了领导与爱护的两种特点，一个好的地方官应该像爱护子女一样爱护百姓，这就是“爱民如子”，当百姓的权力受到伤害时，官员理应加以维护，这就是“为民做主”。因此所谓的“父母官”其实是百姓的一种赞誉。同时这样的父母官通常都是一些比较基层的官员，主要是州、县等地方长官，因为他们直接与地方百姓接触，同时又拥有生杀予夺的决定权。
除了上面的含义，在汉语的运用中“父母官”其实还有另一种用法，那就是指家乡的地方官。古人为官起先是通过孝廉贤良方正等名目的举荐，后来主要通过科举考试，一旦成为朝廷的命官，出于避嫌的原因，常常是异地为官，这样就离开了家乡父老。而那些朝中的大官，除了本身祖籍就在京城的，大多数人父母都在地方，所以这些人对那些家乡的官也称之为“父母官”，这就是我们常说的“家乡父母官”。当然，这样的父母官也是地方官员，但范围稍大，不仅限于地方行政首长。
“父母官”的两种含义其适用的对象虽然接近——都是地方官，但用法却是有讲究的。前者是百姓对长官的称谓，是对长官的一种敬畏和赞誉，而后者其实是朝中高官对比自己地位低得多的地方官的一种尊称，也是一种自谦的表示，说家乡的小官为“父母官”一来显示自己没有架子，尊重对方，二来县官不如现管，也是希望对方对自己的父母有所照应。
父母官”的这两种含义决定了它使用上的特殊性，比如：前一种含义的“父母官”应该是他称，而不应该是自称。目前有些文学作品或影视剧中常出现：“我作为家乡的父母官……”云云，其实都是不恰当的用法。而作为后一种含义使用时需更加小心，因为这是高官对比自己官阶小的地方官的称谓，普通人是不能随意使用的，比如在外地工作的普通工作人员见到家乡的领导来了，如果也称对方是自己的“家乡父母官”，那他的口气也太大了。