賈政有一妻兩妾，妻子自然是王夫人了，妾室則是趙姨娘和周姨娘。周姨娘大概是王夫人的陪房丫頭，她用以博賢名塞給賈政爲妾的。在書中她就是一個默默無聞的姨娘，不爭不搶，像個透明的人，也不曾寫到過賈政和她的一言半句。
相比周姨娘，趙姨娘的存在感則強多了，她愛折磨會來事，看過書的讀者都不會忽略她這個人。其實細看會發現，她和賈政的關系也很密切，賈政對她的喜歡也遠遠超過了正室王夫人。
賈政對王夫人不但沒有多愛，倒是覺得他甚至是厭惡王夫人的。因著他對王夫人的不喜，導致他對寶玉都不是那麽在意和喜歡。
書中第二十五回“魇魔法姊弟逢五鬼”，寫了鳳姐和寶玉兩人被馬道婆下咒，藥石無效，兩人眼看無救了。賈母等人守住寶玉直哭，大家日夜熬油費火，鬧的人口不安，也都沒了主意。
賈赦還各處去尋僧覓道。賈政見不靈效，著實懊惱，因阻賈赦道：“兒女之數，皆由天命，非人力可強者。他二人之病出于不意，百般醫治不效，想天意該如此，也只好由他們去罷。”賈赦也不理此話，仍是百般忙亂，哪裏見些效驗。
大家雖然舉手無措，但還是沒有放棄，賈赦作爲鳳姐的公公和寶玉的伯父，他還是努力想辦法，賈政作爲寶玉的父親，卻選擇了放棄。可就算賈政說出了這樣的話，賈赦還是沒有放手，他仍在盡一切可能去挽救。
相比之下，會覺得賈政真的無情，自己的親生兒子，生死關頭，只要還有萬分之一的生機都會爭取一下吧，怎麽他就自動放棄了呢。這既有他假學道，不信道法的原因，也體現了他的冷漠，他爲什麽這麽冷漠，估計就和王夫人有關了吧。
寶玉是他的兒子，也是王夫人的兒子，王夫人一貫喜歡把孩子的命運把控在自己手上，通過控制孩子從而控制賈府家族。爲此，賈政對寶玉也不是特別愛惜吧，畢竟有曾經的例子賈珠在先，所以對寶玉的心也比較淡了。
緊要關頭，賈政不在意寶玉的生死，可是他卻沒忘記護著趙姨娘。
當時賈母等正圍著寶玉哭，只見寶玉睜開眼說道：“從今以後，我可不在你家了！快收拾了，打發我走罷。”賈母聽了這話，如同摘心去肝一般。
趙姨娘在旁勸道：“老太太也不必過于悲痛。哥兒已是不中用了，不如把哥兒的衣服穿好，讓他早些回去，也免些苦，只管舍不得他，這口氣不斷，他在那世裏也受罪不安生。”
這些話沒說完，被賈母照臉啐了一口唾沫，罵道：“爛了舌頭的混帳老婆，誰叫你來多嘴多舌的......這會子逼死了，你們遂了心，我饒那一個！”一面罵，一面哭。賈政在旁聽見這些話，心裏越發難過，便喝退趙姨娘。
寶玉生死未蔔，賈母如同摘心去肝一般難過，趙姨娘還在旁邊火上澆油，賈母氣得又罵又哭。賈政便喝退了趙姨娘，賈政這做法看似嚴厲，實是在護著趙姨娘，否則惹起賈母的火，給她幾個巴掌也是可能的。
何況趙姨娘這種時候說這個風涼話，若是真的愛子如命，估計賈政也會甩她一巴掌，但他沒有，他只是讓她退下。可見賈政對趙姨娘還是關心和在意的，在兒子快死，母親氣怒悲憤的時候還能關注到她。
第三十三回 “手足耽耽小動唇舌 不肖種種大承笞撻”，這一回寫到了寶玉挨打。賈政打他，一是忠順王府的長史到賈府索要戲子琪官，二是賈環在賈政面前告狀，說寶玉調戲金钏。賈政聽了不再問緣由，直接捆起來就打。賈環是怎樣的爲人，賈政不清楚嗎，他隨便說的幾句話賈政怎麽就信了呢。若是其他人說起這個，賈政定會喝停，但他對賈環沒有，不過是愛屋及烏罷了。
他在打寶玉的時候，王夫人趕來哭著阻攔，但賈政見她來了，打得更狠。書中寫道：
王夫人一進房來，賈政更如火上澆油一般，那板子越發下去的又狠又快。按寶玉的兩個小厮忙松了手走開，寶玉早已動彈不得了。
最後還是賈母趕到，才救下了奄奄一息的寶玉。賈政會下如此狠手，思來想去覺得還是因爲王夫人的原因。他對她無愛，反而有恨，無法對她出手，便把這份恨意遷怒到了她的孩子身上。
賈政和王夫人成親，必定是家族的安排，不是他本意。賈政是個讀書人，對王夫人那種既不識字又無趣味的小姐想來沒什麽興趣。他會和王夫人生下三個孩子，也是爲了家族和未來的考量，並非是他有多愛王夫人。
王夫人生下的寶玉和元春都是在賈母身邊長大，也由賈母親自教導。爲什麽不由王夫人教導呢，她畢竟是賈府的當家主母，是正室，這當中估計是王夫人有過嚴重的過錯。
他們的第一個孩子賈珠是由王夫人親自教導的，但賈珠卻年紀輕輕就死了，也不知是真病死，還是別有隱情。猜測可能有王夫人的原因，賈政對他不甚歡喜，所以也時時打罵，最後病死極有可能是賈珠犯了錯，被打受了重傷致死。
其實書中因被打而一病而死的也不是沒有，比如賈瑞和秦鍾，一個因惦記鳳姐徹夜未歸被爺爺責打，一個因和尼姑智能兒私會被父親打了一頓，最後都一病嗚呼了。賈珠的死也有可能是這樣的原因，所以關于他的死忌諱莫深，在賈府大家都不敢輕易提起。
趙姨娘是王夫人生下了寶玉以後才納的妾室，因爲探春比寶玉還小。賈政對趙姨娘應該是極爲喜愛的，雖然趙姨娘已經生了一女一兒，也是半老徐娘了，書中還多次寫到賈政歇在趙姨娘屋裏，但是卻沒有筆墨提到過賈政和王夫人同住。
趙姨娘和賈政在一起時，還會和他說起賈環納妾的事，賈政也會把自己的想法告訴她。比如第七十二回，趙姨娘想要賈政出面，將彩雲指給賈環。
賈政因說道：“且忙什麽，等他們再念一二年書再放人不遲。我已經看中了兩個丫頭，一個與寶玉，一個給環兒。只是年紀還小，又怕他們誤了書，所以再等一二年。”
賈政並沒有責備趙姨娘，只是說他自有考慮和安排。
這樣夜半私語的時刻，估計王夫人很少有過。關于寶钗，想來王夫人也是從沒和賈政說過，否則，就是賈政一句話的事而已。
當時的婚姻，父母之命媒妁之言，若賈政同意了，王夫人又有意，寶钗寶玉馬上就訂婚了，畢竟寶钗這麽大了拖不得。若然不同意，王夫人也不必和賈母死磕著，因爲賈政不點頭也沒有結果。可見王夫人根本就沒有和賈政提到過寶钗的事，王夫人一心想促成的金玉良緣，賈政根本不知道，是王夫人自己在那瞎折騰。
有時連賈政的去向，其實王夫人都不清楚。比如黛玉進府那一回，黛玉跟著王夫人去拜見賈政卻沒有見到，王夫人說他齋戒去了。若真的如此，她爲什麽不提前說，要黛玉到了她那裏才說，顯然是王夫人自己都不清楚賈政的行蹤，明顯賈政當時是在接待賈雨村。王夫人亂找個說辭說是齋戒去了，她根本不知道賈政在做什麽。
相比之下，可知賈政明顯更偏心趙姨娘，空閑的時候，他的心思都放在趙姨娘這邊。作爲賈政的正室，卻得不到賈政的心，難怪王夫人說起趙姨娘時，帶著三分嫉妒七分恨意呢。
