Memiliki ormas dengan anggota cukup banyak ternyata bukan jaminan untuk mendapatkan posisi empuk di PDIP. Saya merasa kadang-kadang bahkan dianggap sebagai ancaman oleh kawan-kawan struktural. Mereka yang iri melihat kedekatan saya dengan Taufik Kiemas dan Megawati pun banyak melancarkan fitnahan. Pada pemilu tahun 2004 saya “dibuang” menjadi caleg DPR RI nomor 9 dari Kota dan Kabupaten Bogor. Meskipun “dibuang”, saya tetap loyal kepada PDIP dan tetap berkampanye untuk memenangkan pemilu. Meskipun nomor buntut, saya terpilih menjadi caleg populer dari dapil saya. Dalam pilpres pun saya tetap membela mati-matian panji PDIP.
Baru pada saat Kongres PDIP Januari 2005 di Bali, saya beserta kawan-kawan PDIP lain bersuara kritis. Gagal merebut kepemimpinan PDIP, saya bersama Roy B.B. Janis, Laksamana Soekardi, Arifin Panigoro, dll, berinisiatif membangun Gerakan Pembaruan PDIP. Megawati menjawab gerakan ini dengan melakukan pemecatan terhadap 12 tokoh gerakan pembaruan, termasuk saya.
Setelah pemecetan, saya dan kawan-kawan yang dipecat memproklamirkan berdirinya Partai Demokrasi Pembaruan pada 1 Desember 2005. Sayang, keterlibatan saya dalam PDP tidak berlangsung lama. Roy dan Laksamana Sukardi akhirnya memecat kembali rekan seperjuangannya lantaran hanya berbeda pendapat. Saya bersama Arifin Panigoro, Adam Wahab, Yusrizki, Zulvan Lindan, Enggelina Pattiasina, Tari Siwi, dan I Ketut Bagiada adalah pimpinan kolektif yang dipecat pada Agustus 2007.
Setelah melawan sebentar lewat PDP tandingan, akhirnya mereka yang dipecat pun memilih membangun partai baru. Sayangnya, kekuatan ini tidak lagi kompak dan terpisah menjadi empat bagian: Zulfan bergabung dengan PNBK, Adam,Yusrizki dan Engelina bikin Partai Pembaruan Bangsa, Tari dan Ketut bikin Partai Kebangsaan Nasional, sementara saya sendiri memilih untuk membangun Partai Persatuan Nasional (PPN)
Selanjutnya tentang pertemuannya dengan Fadli Zon