Selama di Blitar, Soemardi bertugas dalam bagian perhubungan dan belum mendapatkan pangkat. Saat itu menjadi tentara juga tidak melalui pendaftaran tetapi secara sukarela. Tugas utamanya kala itu adalah melayani perhubungan. Ketika meletus perang melawan penjajah di Jawa Timur, ia ikut menjadi salah satu pembaca sekaligus penyampai sandi atau morse.
"Saya tidak turun langsung berperang, saya menyampaikan morse atau kode mengenai situasi dan perintah dari atasan. Jadi waktu itu perintah yang kami terima tidak dalam tulisan tangan tetapi pakai kode lewat headphone, lalu saya mengetik dan menyampaikan (ke pasukan)," jelasnya.
Beberapa tahun bertugas di Blitar, Soemardi kemudian pulang ke Yogyakarta. Di sinilah ia kemudian diajak oleh saudaranya, Soemaryadi untuk bergabung BKR dan masuk Polisi Tentara (Polisi Militer). Tepatnya saat meletus agresi militer Belanda II. Ia tergabung dalam pasukan yang mendapat tugas meledakkan dinamit di Jembatan Kali Bedog, Kecamatan Gamping, Sleman.
"Saya resminya jadi tentara itu waktu agresi militer II. Pangkatnya Prajurit Dua. Dapat tugas operasi di daerah Gamping," kata Soemardi.
Sembilan bulan setelah tugas di Gamping, tepatnya Desember 1949, Soemardi mendapatkan tugas mengamankan pelantikan Soekarno menjadi Presiden Republik Indonesia Serikat (RIS) di Sitinggil, Kraton Yogyakarta. Pengamanan itu dilakukan untuk menghadapi segala kemungkinan gangguan atau misi penggagalan.