嘉靖三十二年（1553年），二十五岁的戚继光被提升为署都指挥佥事，负责山东省沿海防御倭寇军务。倭寇指在日本内战中失败的流亡武士和商人，他们从元代末年到明代初年，经常在中国东部沿海一带抢劫中国商船，并打家劫舍，杀人放火。

十五世纪后期，倭寇与中国沿海的劣绅奸商狼狈为奸，愈加猖狂，有时甚至深入内地，攻城掠地，掳掠财物，成为中国东南沿海的一大祸患。

戚继光任都指挥佥事后，统辖3营24卫所。防线从江苏、山东交界处，一直延伸到山东半岛的北端。海防线很长，而兵力有限，如何设防是个很大的问题。戚继光走访了当地许多官员、渔民，了解到一年之中倭寇活动最猖獗的时间多是3、4、5月和9、10月间，掌握了这几个月间的天气状况以及船只可能停靠的地方后，他采取了按照时间和地段重点设防的措施。同时整顿军队，加强训练，严格军纪，提高战斗力，于是，山东海防变得固若金汤，倭寇不敢再轻易骚扰，戚继光在山东防倭初见成效。

由于戚继光在山东抗倭有方，嘉靖三十四年（1555年），朝廷又把他派往浙江，担任定海参将，镇守宁波、绍兴、台州三府，率军抵抗倭寇，这一带是倭寇活动比较猖獗的地区。戚继光看到原来的军队素质很差，战斗力很弱，于是在义乌招募农民、矿工，组建新军。这支四千多人的新军，经过戚继光的严格训练，鸳鸯阵军纪严明，精通战法，训练有素，进退有序，作战勇猛。

戚继光还根据江南水乡的特点，改革队列，创造了著名的鸳鸯阵法，使长短兵器配合作战，用火器、弓箭互相掩护，敌人进入百步之内用火器，进入六十步内用弓箭，敌人更近时，便用“鸳鸯阵”冲杀。这支军队在后来的战斗中屡战屡胜，发挥了巨大威力，深受百姓的爱戴，称他们为“戚家军”。

嘉靖三十五年（1556年）九月，800多名倭寇入侵龙山所，戚继光率军迎击，两军刚一交锋，明军由于怯战开始后退。在这危急时刻，戚继光飞身跃上一块巨石，连发三箭，射倒3个倭寇头目。倭寇见状，仓惶逃窜。戚继光率军乘胜追击，三战三捷，威名大震。

嘉靖四十年（1561年）五月，一万多名倭寇大举进犯台州。戚继光率领戚家军，采取机动灵活的战略战术，运用偷袭、伏击、快速奔袭等战法，打得倭寇晕头转向，不知所措。戚继光率部九战九捷，取得台州大捷。这场战役歼敌6000余人，使倭寇遭到致命打击。从此倭寇们心惊胆战，闻风丧胆，给戚继光取了个名字叫“戚老虎”。

次年，倭寇转而进犯福建，戚继光率领戚家军南下福建，迅速荡平倭寇在横屿、牛田、林墩的三大巢穴。嘉靖四十二年（1563年），戚继光与福建总兵俞大猷、广东总兵刘显联合战斗，取得平海卫大捷。次年，因功升为总兵官，镇守福建全省及浙江金华、温州两府。这年十一月，倭寇2万人围攻仙游，戚家军“三战全捷”。

从此，戚家军威震中国东南沿海，倭寇望风而逃。在戚继光和其他将领的共同努力下，抗倭战争节节胜利，为祸已久的倭患终于被彻底消灭，浙江、福建等沿海地区日趋安定，经济也逐渐发展起来。戚继光在抗倭战争中功绩卓越，赢得了当地人民的称颂。在福建的于山，有一座戚公祠，戚继光庙里面有百姓给戚继光立的雕像，以缅怀他抗击倭寇的业绩。

隆庆元年（1567年）戚继光被内阁首辅张居正调到北方，镇守蓟州，以对付北方不断南下侵扰明朝的蒙古军队。隆庆二年（1568年）五月，戚继光被任命为都督同知，总理蓟州、昌平、保定三镇军务，领兵镇守北部边关。

他根据蒙古骑兵的作战特点，创建了以火绳枪炮为主的步兵营、骑兵营、车营和遣重营，并使各营能够协同作战。同时，在旧长城的基础上加高加厚原有的边墙，在重要地段加厚城墙，同时在长城沿线建立了空心敌台，蓬莱阁从而构筑起一道坚不可摧的坚固防线。戚继光坐镇蓟州16年，鞑靼军队轻易不敢来犯。万历年间，蒙古骑兵曾3次骚扰边城，结果都大败而回。