杨森是出了名的多妻多妾。从军期间，除了打仗杠杆炒股，其余的心思就放在美女身上。据悉，只要是杨森看中的女人，最后都会成为他的妻妾。

曾有传说称，有一次蒋介石到杨森家里做客，看到家里到处是美艳女人后很是震惊，询问杨森：这都是你的女人？杨森毫不掩饰地承认了，还带着一丝骄傲，成功逗笑了蒋介石。虽然不知道这个传说是否是真的，但杨森的好色肯定是事实。

杨森的第一个妻子是张氏。在那个时代，大部分婚姻是父母之命媒妁之言，所以张氏和杨森称不上有多么深厚的夫妻感情。不过，张氏可以称得上是一位称职的妻子，孝敬杨森父母，贤惠温柔。可惜红颜早逝，杨森进入陆军速成学堂后，张氏因病去世。杨森十分悲痛，为了纪念妻子，他重用了张氏的兄弟张元培。

1908年的时候，杨森和谭正德再婚，生育一儿一女。可后；来杨森有权有势，身边女人无数，谭正德被冷落，空守广安旧宅直到去世。

根据记录，从1913年开始，杨森不断纳妾，拥有了十几个姨太太。当时，外界都在流传杨森拥有了一个杨家金陵十二钗。

杨森制定的家规相当严格

姨太太过多也是件烦恼事，为了防止她们争风吃醋，杨森下令每个老婆轮流陪住。此外，杨森严格要求每个人早起参加训练，禁止打牌、跳舞、酗酒等不良嗜好。家里任何东西，姨太太不允许擅自动用。每个月，姨太太和孩子可以领取一定数额的家用。

杨森虽然好色，但制定的家规是非常严格的。比如，在吃饭的时候，孩子必须做祷告，感谢父母给他们提供吃食，还承诺会好好做人，将来报效父母。另外，杨森还会请来老师，教姨太太们学习英语、钢琴等。

杨森是否会处置出轨的姨太太的

看到这里，大家肯定以为身为杨森的姨太太很享福，其实并非如此，有的姨太太结局是非常悲惨的。杨森的女儿曾回忆，父亲有两个姨太太是被他亲手枪杀，还有一个被活活逼疯。

就好比说杨森的七姨太曾桂枝。她本来是杨森的养女，可随着岁月的流逝，曾桂枝长成了一个亭亭玉立的少女，杨森动了春心，在她14岁的时候纳入府中。

由于外貌出众，加上后天的学习，杨森经常带着曾桂枝出席社交场合。渐渐地，曾桂枝和杨森之间产生代沟，并在学校里爱上了自己的同学，两人开始恋爱。杨森得知这一切后，先是装作不知道。曾桂枝主动开口希望杨森给心上人安排工作，计划好一切打理好后就私奔。杨森表面上同意了，可暗中安排杀手在路上等着。最后，曾桂枝就和心上人先后死于杨森手下之手。

杨森在90岁高龄的时候，依然不忘纳妾，迎娶了17岁的张灵凤。消息一出，引起了台湾方面的轰动。

有一次，张灵凤问杨森，一生娶了12房太太杠杆炒股，有几个是心甘情愿的？杨森的回答是这样的，很多人是看中了自己的权势，并非是发自真心跟自己。但即便如此，自己依然是真心对待她们的。张灵风还提到了曾桂枝，杨森表示，正是因为自己在乎她们，得知自己遭到背叛才会下狠手。