公元35年（建武十一年），刘秀任命马援为陇西太守。马援派步骑三千在临洮击败先零羌，斩首数百人，获马牛羊一万多头。守塞羌人八千多，望风归降。当时，羌族各个部落还有几万人在浩亹占据要隘进行抵抗，马援和扬武将军马成率兵进击，羌人将其家小和粮草辎重聚集起来在允吾谷阻挡汉军。马援率部暗中抄小路袭击羌人营地，羌人见汉军突如其来，大惊，远远地逃入唐翼谷中。马援挥师追击，羌人率精兵聚集北山坚守。马援对山摆开阵势佯攻，吸引敌人，另派几百名骑兵绕到羌人背后，乘夜放火，并击鼓呐喊。羌人不知有多少汉军袭来，纷纷溃逃。马援大获全胜，斩首千余级。但因为兵少，没有穷追敌人，只把羌人的粮谷和牲畜等财物收为汉军所有。此战，马援身先士卒，飞箭将其腿肚子都射穿了。刘秀得知后，派人前往慰问，并赐牛羊数千头。马援像往常一样，又把这些都分给了部下。
　　当时，金城破羌以西，离汉廷道途遥远，又经常发生变乱，不好治理。朝廷大臣商议，要把该地区舍弃。马援持不同意见，他提出了三条理由：第一，破羌以西的城堡都还完整牢固，适于固守；第二，那地方土地肥沃，灌溉便利；第三，假如舍弃不管，任羌人占据湟中，那么，以后将有无穷的祸患。
　　刘秀听从了他的意见，命武威太守把从金城迁来的三千多客民全都放回原籍。马援又奏明朝廷，为他们安排官吏，修治城郭．建造工事，开导水利。鼓励人们发展农牧业生产，郡中百姓从此安居乐业。马援还派羌族豪强杨封说服塞外羌人，让他们与塞内羌族结好，共同开发边疆。另外，对武都地方背叛公孙述前来归附的氐人，马援以礼相待，奏明朝廷，恢复他们的侯王君长之位，赐给他们印缓，并撤回马成的军队。
　　公元37年（建武十三年），武都参狼羌与塞外各部联合，杀死官吏，发动叛乱。马援率四千人前去征剿，行至氐道县境时，发现羌人占据了山头。马援命令部队选择适宜地方驻扎，断绝羌人的水源，控制草地，并以逸待劳。羌人水草乏绝，陷入困境，首领们带领几十万户逃往塞外，剩下的一万多人也全部投降。从此，陇右安定。
　　马援在陇西太守任上六年，恩威并施，使得陇西兵戈渐稀，人们也逐渐过上了和平安定的生活。一次，在靠近县城的地方，乡民们结伙械斗仇杀。人们误认为羌人要造反，惊慌失措，争先恐后涌人城来。狄道县县长闻变，赶到马援府门，请示关闭城门，整兵戒备。马援当时正与宾客饮酒，得此消息，大笑道：“烧羌怎敢再来进犯我。晓谕狄道长回去守舍，胆小怕死的，可躲到床下去。”不久，城中安定下来，才知是虚惊一场，大家愈发佩服马援。