在荆湖南路，杨彪率播州军第二山地师兵出沅州，顺沅水而下，沿途部落山寨要么遣使归附，要么在枪炮齐鸣后投降。其部遇到的第一个城池为辰州，此时已被伪军李恒部占领，但只有一千蒙古汉军和三千新附军驻守，他们眼见播州军势大，便弃城往沅水下游逃去。播州第二师紧追不舍，却在桃源被一支色目军所阻。桃源是常德府的门户，两者之间不到百里，而夺下常德府之后则可进抵洞庭湖，与岳州的霹雳军高达部取得联系，进而控制整个荆湖南路的北部。张弘范率部投降霹雳军后被派往洞庭湖，在清剿完敌人水师残余后，他已率军溯沅水而上，但由于其部缺乏火器和攻城器械，只得止步于常德下游百里处的龙阳城。
守卫桃源城的色目军是来自西域的回纥人，他们虽然只有三千人却装备精良，不仅有一千骑兵还有五百人的攻城部队。在汉人工匠的协助下，他们仿制了数十门火炮，战力在荆湖南路的伪军中首屈一指。正因为如此，李恒才将其派驻桃源城。只要上游的桃源不失，便能拱卫常德府的安全。为了让这支色目军卖命，李恒让其将领可以“便宜行事”，更是声称“如有所需，城中一切可尽取之”。有了李恒的命令回纥军更加有持无恐，他们将城中男丁编组，分批驱赶上墙充作炮火，又将年青女子抢入营中供士兵淫乐，还将全城房屋木材拆下构筑防御工事，以抵御霹雳军的火器。
播州军第二师威力最大的火器是10斤炮，因道路泥泞的原因还需半月才能运抵桃源。杨彪是个急性子，特别得知张弘范已率军进抵龙阳城之后更是心急，刚到桃源便下令发动攻击，却遭到了严重的损失。播州军的轻型火炮威力不俗，但四下乱飞的弹片却无法对土木工事后的敌人造成杀伤，冲锋的播州士兵先是遭到城头火炮的轰击，又被回纥骑兵打开城门冲了一波。要不是机枪凶猛的火力，说不定还会被色目骑兵冲垮阵列。半柱香时间不到，攻打桃源城的前锋营的死伤便超过了四百人，彻底丧失了战斗力。反观敌人损失不到二百人——大都是被机枪扫落的骑兵。
播州军赫赫威名当然不仅是因为蛮勇，而是有勇有谋，遭到当头一棒的杨彪变得冷静起来。桃源城池坚固，敌人火炮居高临下，数量也不在已方之下，如果一味强攻徒费弹药不说，人员伤亡也会十分惨重。只是他又不愿意等10斤炮运来，况且即便运来也不一定能击破敌人城防。踌躇间，他瞅见了营帐中的棺木，突然计上心头。播州军不惧生死十分勇悍，此次杨彪更是抬棺出征，以示自己不成功便成仁的决心。棺木既然能装下一个人，装下二三百斤炸药也是绰绰有余，且厚重结实能挡敌人的刀劈斧砍，密封后也能防水，能成为超大号的炸弹。
夜深入静时，十余名敢死队抬着棺木往桃源东门进发了。色目军也知道播州军可能会夜袭，也是衣不解甲在城墙值守。但城墙上火把光亮的距离有限，加上播州军不断炮击骚扰，敢死队员直抵达护城河边才被敌人发现。城头的火炮及远不及近，回纥军只得用弓箭往下射击。由于夜色昏暗，灯火摇曳明灭，加之敢死队员们都带了木盾又有皮甲护体，故只有两三人中箭。其余敢死队员七手八脚将棺木推入护城河中，又洇过护城河将之停放在城门口，在点燃引信后，皆急急往回退去。时值炎炎夏日，城墙周围蚊虫颇多。回纥军初以为城门口那忽明忽暗的火点是萤火虫，并不以为意。有人抛下火把，借着亮光看到城门赫然横卧着一具棺材，又联想到刚才播州军士兵的夺路狂奔，霎时明白了什么。他们突然大叫起来，急急哭喊着往城楼下跑去。
惊天爆炸轰然响起，一时间烟尘四起，土木横飞，四处飞溅的火花随即在城门楼附近引起了数处大火。借着硝烟和粉尘的掩护，早已准备好的播州军士兵往桃源城冲去。城门楼此时已经倒塌，城门和吊桥也不知踪影，附近城墙上不少回纥兵被炸飞上了天，还有的在巨大的冲击波之下五腑六脏出血，或当场毙命或躺在地上半死不活。城门楼右侧的城墙被炸出一段数米的缺口，垮落的泥土将护城河填了个大半。此刻播州军士兵正顶着墙头敌人零星的火炮，源源不断往缺口而来。巨大的爆炸之下，不少回纥兵仍在慒逼中，只有少量火炮调整了炮口，往播州军射击。
四下燃烧的火光，虽然能让回纥炮手看到冲锋的播州士兵，却无让火炮准确命中目标。炮兵是个技术活，要在仓促之间调整 好仰角、装药量和引信时间，击中移动中的目标也是不易，当他们终于构置好对准城墙缺口处的火力封锁线时，大批的播州士兵已冲入城中奔上城墙，直扑炮位扑来。虽然比不得回纥士兵体格高大，但播州兵士兵身形十分灵活，又有犀利火器，使得在白刃战中占尽优势，将东门的回纥炮手尽数格杀。杨彪见敌人火炮哑火，急令全军压上，又派了人前去其余各门伏击逃敌。当播州军完全占据东门城墙之时，城中其余门的回纥兵才急急赶到，却被机枪、手雷的火力打了回去。
杨彪痛恨回纥兵的残暴，也痛心于播州军士兵的损伤，故下令只要敌人负隅顽抗一律格杀。眼见出城逃跑之人的皆死于播州兵的伏击之下，回纥兵不再逃跑，而是选择死战到底。霹雳军有着充足的巷战经验，杨彪和麾下军官也多在崇庆府的军校学习过。眼见敌人不投降，播州士兵便以班排为单位，以手雷和轻机枪开道，逐巷逐屋进行清剿。回纥军虽然困兽犹斗，无奈播州军不管在火力还是人数上都占据着绝对的优势。到天明之时，城中的三千回纥兵大部分被歼灭，只有六百余人做了俘虏，另有二百余骑经北门逃脱，往常德府方向而去。
按照惯例，这些带回纥俘虏应被送到暗无天日的矿洞或苦寒 的鲜卑利亚大陆腹地服苦役，可杨彪命令将他们送往后方之时，却发现无人可送。原来由于痛恨敌人顽抗造成袍泽的死伤惨重，气愤不过的播州兵已将回纥俘虏杀了精光，他们实在不甘心这些恶贯满盈之人仅是服苦役。杨彪对此无可奈何，只是对带头的军官罚了俸，降了职。一方面这些士兵干了他想干的事，另一方面播州兵也有不留俘虏的传统，毕竟战场是你死我活的事。不杀俘虏只是霹雳军的军规。