裁撤旧兵
签订《马关条约》后不久，清政府面临的最头疼的问题就是巨额战争赔款。光绪皇帝表态：“从此我君臣上下，希望艰苦一心，痛除积弊，于练兵筹饷两大端实力研求，亟求兴革。”
当时，开源无路，负责筹款的户部马上给光绪皇帝想了个节流的办法，奏称：财政入不敷出，无以为继，请旨将全国绿营一律挑留精壮三成，其余老弱一概裁撤。这个建议，几乎将绿旗兵一网打尽。
是时，甲午新败，社会上的确对以绿旗兵为主的旧军队声讨一片。有人激愤地说：“我们老百姓以膏血供养他们，但这帮家伙见敌抱头鼠窜，弃甲狼奔，这个兵不是如同虚设吗？养猫还能捕鼠，养狗还能防盗，养这些人真是白白浪费饷银了。”正因为有了这样的社会舆论，户部所奏尽管从技术上讲很难操作，但还是得到了朝廷的认可，认为户部筹饷办法“皆属切实可行”，要求各督抚就各地方情形悉心妥筹，核实裁汰，以此揭开了大裁军的序幕。
然而，各地方省份对此反应迟钝，对裁汰数量如此之多、期限如此之短颇有微词。不少督抚在上报裁兵计划的同时，附带着表达了自己的不同意见。山东巡抚李秉衡最先奏报，先表达了绿旗兵“疲玩废弛，积习已深”的确应该裁撤，接着建议：裁兵不裁官，兵丁裁撤五成，并且把一年裁兵时间延长至五年内完成。广西巡抚张连桂是第二个响应的，他也认为一年内裁撤七成为数过多。两广总督谭钟麟认为，绿旗兵虽然无用，但如果裁减数量过多，则会影响工作。其他如两江总督张之洞、陕甘总督陶模也都分别表达各自意见。其他省份则干脆没有上报裁兵计划，也不行动，而是采取观望态度。
1896年，清政府向德、俄两国的银行进行第二次大借款，以交付第二期对日战争赔款。朝廷筹款已是火烧眉毛。而这一年里，开始裁兵的仅有山东、广西、广东、江苏、安徽、江西等省。有的省份才开始陆续奏报裁兵计划。如浙江准备分三年裁减三成，福建则更加含糊其辞，准备裁撤一到两成，离朝廷的裁兵目标差距甚远。多数省份依然处在观望中。
始自甲午战后的裁军行动，一直延续到1899年。尽管朝廷要求裁军的指令如雪片般频繁发出，但最终收效不大，只得不了了之。相对而言，新军编练倒是进行得有模有样。
编练新军
当时清廷主张重建陆军的，以胡和袁世凯最为得力。
1895年6月，时任顺天府尹的胡将英国大使给他的《应时练兵说帖》交给宁波人王修植，让其编修代拟条陈。王文辞敏捷，对新政也很有研究。他写成两稿，第一稿以英国人说帖为蓝本，第二稿则加以文字的渲染。胡将第二稿送京师督办军务大臣庆亲王和荣禄，大受赏识。当年9月，他受命以周盛传、周盛波统率的淮军为基础，在天津小站开练定武军。但两个多月后，胡却被袁所替代，这里面与袁世凯个人努力不无关系。甲午战后，袁世凯本已经被外放浙江温处道，原打算先回河南原籍省亲，然后走马上任。他听到朝廷准备整军经武的消息后，预料随着军事制度的变革，武人又要吃香，于是灵机一动，请人捉刀代笔写了一部《兵书》，用自己的名字发表。这时他又煽动舆论，说马关议和时，日本首相伊藤博文曾专门向李鸿章打听袁世凯近况，说明“日本人如此重视袁世凯，此人必有非常之才”。这些话传入北京朝廷，袁世凯的名字在清廷上层有了印象。连翁同、荣禄等也都称赞袁世凯“通晓戎机，才堪大用”。
于是，清政府降旨命袁留在北京，听候督办军务处差委。袁世凯听说了胡的练兵奏折后，天天去拜访王修植，与王修植、张锡銮、孙宝琦、潘克俊结拜为把兄弟，并经常请这4个人到当时的北京侯家巷宴会，请当时的名妓沈四实、花美卿、花宝琴、赛金花等作陪。袁在宴会上与王修植拉关系套近乎，求王也给他拟一个练兵条陈。王于是就把曾经给胡代拟的第一稿交给袁世凯。袁得到此稿后，早晚背诵，紧记要点，然后择机呈给荣禄。荣禄逐条向袁问询，袁对答如流。荣禄大为赞赏，于是带着袁世凯谒见醇亲王和庆亲王，袁又是对答如流，比胡更能抓住练兵要点，加上胡是绍兴人，官话不如袁世凯流利，于是，袁顶替胡，到小站练兵。
在袁世凯的督练下，新建陆军颇见成效。俄、日等国驻天津公使常到小站观操，称赞新军“军容之盛”，无不“动容”折服。袁也颇为自负，认为“各营纪律尚好，途人颇多称赞，差可放心”。
小站练兵既奠定了袁世凯一生事业的基础，也深深影响了中国近代历史的进程，它催生了中国历史上第一支近代化新式军队，对中国陆军近代化产生了重要影响。同时，小站练兵所练出的一批人员，奠定了北洋军阀的人才基础，这批人中，做到各省督军以上官职的有34人，其中包括4位中华民国总统和1位行使总统职权的临时执政。 重整海防
甲午战后，清政府将北洋海军官兵全部遣散并撤销了海军衙门。但现实情况是，作为京畿门户的黄海渤海海防在战后荡然一空，京畿防御的需求使重建海军的迫切性突显出来。1895年，清政府高层在一轮关于国政的大讨论中，提出了关于重建海军的内容。1896年，清政府决定重整海防，并恢复北洋舰队。
当年，甲午战前从德国订造的4艘鱼雷艇和从英国订购的驱逐舰“飞鹰”号到位。随后，清政府又向英国阿姆斯特朗公司订购两艘排水量均为4300吨的大型巡洋舰“海天”、“海圻”号;通过驻德公使许景澄，从德国伏尔铿船厂订造了模仿“吉野”设计的“海容”、“海筹”、“海琛”3艘巡洋舰，从德国希肖船厂订造“海龙”、“海青”、“海华”、“海犀”4艘大型驱逐舰。至1899年，这些舰船先后来华，至此，北洋舰队已拥有舰艇17艘，初步形成了规模。
人员方面，仍采用原北洋海军的旧有人员。当年李鸿章为保存人才，特意将一批北洋海军的骨干军官聚拢到天津待命备用。随着清廷重振海军，这些在天津待命的原北洋海军大多陆续得到起用。这些军舰到华后，全部部署在京畿海防，仍称作北洋水师。原北洋海军“靖远”舰管带叶祖被任命为北洋水师舰队统领，原“康济”号管带萨镇冰任帮统领，相当于副统领。
1895年后的北洋水师，做了一件让国人扬眉吐气的事情。1899年初，意大利趁着列强瓜分中国的热潮，也想到中国来占点便宜。它派出6艘军舰开到中国沿海进行恫吓，向清政府发出最后通牒，要求租借三门湾。
一开始，清政府搞不清虚实，十分忧虑。这时“海天”舰舰长刘冠雄向北洋统领叶祖进言：“意大利海军远洋而来，彼劳我逸，形势于我有利，完全可以一战。”叶祖十分赞同，就向清廷报告了海军对形势的分析和结论。于是，清政府采取强硬措施，不仅拒绝了意大利的最后通牒，还派舰船出海巡逻。意大利舰队见状，宣布放弃对三门湾的要求，说自己“无意在中国推行侵略政策，只是想推行一种扩展商业的政策”，灰溜溜地偃旗息鼓而去。这是中国人在近代对外交涉中所取得的罕见胜利。
1900年，萨镇冰率各舰泊于山东庙岛。期间美国巡洋舰阿里干号在庙岛附近触礁。中国海军收到求救信号后，着萨镇冰率“海圻”舰驶往救护。后来美国国会专程发函道谢。这件小事，多少也为当时处于困境中的中国海军争了光。
重建海军
1900年，由于北洋海军在抵抗八国联军的过程中没有起到太大作用，因此清政府议和大臣中有人提出将“海天”、“海圻”等5艘巡洋舰“撤售”，以“表示中国无对外备战态度”。但此后马汉的海权论开始传入国内。当时的《时报》《新民丛报》《东方杂志》等报刊都发表过不少有关海权的文章。这些讨论使海权思想在更大范围得到传播。兴复海军的问题再次提上议事日程。
同年8月，载洵、萨镇冰受命赴欧洲各国考察海军和订购军舰。他们一行先到意大利后到奥地利，一路参观船厂，并订造了两艘“鲸波”、“龙湍”军舰。10月，他们一行到达柏林，德国政府以上宾接待。载洵、萨镇冰等出入都是乘德皇宫所派马车，沿途挤满了看热闹的人。萨、载二人都是身着黄马褂，佩戴大绶勋章，背后拖着辫子，引发观众一阵阵哄笑。
当时萨镇冰之前的学生林献和常朝干在柏林高等工业大学学习，前往旅馆探望老师。萨见了他们后就用手拿着辫子对他们说：“你们看，这个时代我们还拖着这个尾巴，可笑不可笑？”萨镇冰嘱咐他俩每天下课后多来旅社走动，并委托他们代购一些东西，以作为回国时的礼物，因为他自己留着长辫子，出去不方便。
在德期间，还发生了这样一件事，说明当时清朝统治者的高层对海军和国际礼节的一无所知。在德国的参观考察结束后，一天，德国威廉二世的皇叔出面，邀请载洵等于晚上9时去皇宫赴宴。当晚7时，中国驻德公使荫昌到中国使团下塌地伯利斯特旅馆邀请。但载洵在房内沙发上小憩，毫无要出门的意思。荫昌见状就问：“今晚赴德皇叔宴会准备好了吗？”载洵答道：“我已经吃过了，今晚就不去了，让萨镇冰代替我去吧。”荫昌一听就急了：“今晚是德国皇叔正式具名邀请的宫宴，事先还征得你同意，说好的事情怎么好说不去就不去。”此时，载洵仍没有起身赴宴的意思。荫昌正色道：“我是驻德公使，对王爷行动负有责任。今天您无故不赴宴，德国政府会认为这是莫大的侮辱，将立即向北京提出质问进行交涉。”经过这次带威胁性的劝说，载洵才勉强应允。到皇宫后，载洵见嘉宾特别是女嘉宾衣着鲜丽，立即变得欣喜若狂，与女嘉宾翩翩起舞，直到午夜才告辞。
以此等人物来统领清末海军建设，其结果可想而知。萨镇冰在给友人李国圭的信中，谈到清末海军，叹息道：“旧染已深，时多牵肘，仍属徒有其义。”
当然，清末海军也并非毫无亮点。1908年，萨镇冰奏陈说今后要每年派舰访问华侨比较集中的南洋各地抚慰侨胞。清政府采纳了萨的意见。于是，他亲率“海圻”、“海容”两舰，由吴淞起航前往新加坡，印度尼西亚的巴达威亚（雅加达）、三宝垄、望加锡以及越南的西贡等地。萨镇冰之行，给广大华侨带去了关怀和温暖，也扩大了他在华侨中的影响。此后，萨镇冰再次前往各地考察，募捐救灾，得到各地华侨的响应和支持。
《马关条约》签订后，俄、德、法三国迫使日本退还了之前《马关条约》中割去的辽东半岛。这件事让日本怀恨在心，伺机对俄国发动一场报复性战争。为此，他们把赔款大部分用来扩充陆海军。
扩军的钱大部分所来自中国的赔款。据日方史料记载，在日本的扩军过程中，来自中国的钱在其全部扩军资金总额中占62.6%。由于清政府向日本支付的赔款，借自法俄和英德等国银行提供的、当时的国际硬通货――英镑，这就为日本提供了大量宝贵的外汇，使其能径直从西方国家进口拥有先进军事技术的装备，从而使它的军备扩张无论是数量还是质量都跃上了新台阶。
在扩军备战的同时，日本统帅部内部文官和武将、陆军和海军也没闲着。甲午战争中，日本陆军第一军司令官山县有朋因为同伊藤政见不合，在战争过程中被伊藤奏请天皇，以养病的名义从前线调回国内。山县有朋对此憋着一口气。战后，他撺掇天皇成立了一个“元帅府”，内设4名元帅：第一名是山县有朋本人;第二名是原陆军大臣、当时担任参谋总长的大山严;第三名是皇族将领、征清大都督小松宫彰仁;第四名是海军大臣西乡从道。
这个元帅府不是政府衙门，只是天皇的咨询机关，类似现在的智囊团。这个元帅府本身其实没什么意义，只是山县想加强军人地位，以抵抗甲午后越来越强的文官势力罢了。但此举又扩大了问题。四个元帅中，陆军占了三个，西乡从道虽然是海军，但之前也做过陆军卿。所以，日本海军的将领们感觉受到了轻视，于是他们就成立了一个“军事参议院”，由元帅加上陆海相、军令部长，再把所有陆海军大将们拉来陪坐，以此与陆军抗衡。
日本军方就这样在明争暗斗中进行着他们的第二次赌博：对俄作战。