Rufai 1963. augusztus 24-én született Lagosban, pályafutását a Stationery Stores FC és a Femo Scorpions csapatában kezdte meg, majd egy év benini légióskodás (AS Dragons FC de l’Ouémé) után érkezett meg Európába.
Hat évet Belgiumban töltött, előbb a Lokeren, majd a Beveren együttesében védett, aztán az 1993–94-es szezonban 12 mérkőzést játszott a holland Go Ahead Eagles csapatában is.
1994-ben a portugál SC Farense következett, kiváló teljesítményének köszönhetően pedig átigazolt a La Ligába, ahol előbb Hércules, majd a Deportivo de La Coruna játékosa lett. Utolsó profi évében visszatért Portugáliába, a Gil Vicente FC-hez.
Szerepelt az 1994-es és az 1988-as világbajnokságon, emellett ’94-ben tagja volt az Afrika-kupát nyert nigériai csapatnak is.
Visszavonulása után is aktív maradt, és a lagosi Staruf Akadémián fiatalokkal dolgozott.
🇳🇬🕊️ Forever in our hearts, Dodo Mayana.
We mourn the passing of legendary Super Eagles goalkeeper, Peter Rufai, a giant of Nigerian football and a 1994 AFCON champion.
Your legacy lives on between the sticks and beyond.
Rest well, Peter Rufai. 💚#SuperEagles #AFCON pic.twitter.com/xMDApRotVR
— The NFF 🇳🇬 (@thenff) July 3, 2025
Gyászoljuk a legendás kapus, a nigériai futballóriás és 1994-es bajnok, Peter Rufait. Örökséged tovább él a stadionban és azon túl is. Nyugodj békében
– írta a nigériai szövetség.