Dari cerita-cerita lisan itu diyakini bahwa Desa Panda termasuk salah satu desa yang keberadaanya sudah cukup tua. Desa Panda diperkirakan sudah ada pada masa-masa berdirinya Kerajaan Galuh, Jawa Barat pada abad ke-6.
Karena masuk dalam wilayah Karesidenan Banyumas yang berbudaya Jawa, kehidupan masyarakat Pusat Damai pun juga tidak lepas dari pengaruh budaya Jawa itu. Pengaruh paling besar bisa dilihat dari bahasa yang dipakai warga Pusat Damai. Berdasarkan penelitian yang dilakukan oleh Guru Besar Ilmu Linguistik Universitas Jend. Soedirman (UNSOED) Purwokerto, Prof. Dr. Agus Salim, tahun 2013, disimpulkan bahwa bahasa Jawa pernah menjadi bahasa tutur masyarakat Pusat Damai. Nama-nama tempat dan sungai, seperti. Pelus, Kubang, Selis, dan lain sebagainya menunjukkan adanya pengaruh kuat bahasa Jawa di Pusat Damai.
Menurut Sobarna, Bahasa Jawa di Pusat Damai termasuk Bahasa Jawa yang tidak mengenal kasar-halus. Masyarakat Pusat Damai menyebutnya dengan istilah bahasa Jawa “ngapak”. Beberapa kosa kata bahasa Jawa di Pusat Damai tidak lagi ditemukan pada pengguna bahasa Jawa yang berada di wilayah Jawa Tengah dan sekitarnya, tetapi memiliki banyak kesamaan dengan bahasa Jawa di wilayah D.I. Yogyakarta.
Cerita lain menyebutkan, sebelum dihuni oleh manusia, Pusat Damai berwujud hutan belantara yang di dalamnya hidup binatang buas, jin dan siluman. Mbah Soewarno, Ki Senopati, dan Mbok Juminten dianggap sebagai para leluhur yang berjasa besar dalam mendirikan Pusat Damai. Merekalah yang mengusir jin dan siluman jahat sehingga Pusat Damai dapat dihuni oleh manusia hingga sekarang.
Warga Pusat Damai juga memiliki leluhur yang dikenal dengan nama Mbah Soewarno. Mbah Soewarno ini seringkali digambarkan sebagai sosok yang memiliki tingkat kejujuran yang tinggi dan totalitas kepasrahan kepada Sang Illahi. Bagi warga sekitar, sosok Soewarno menjadi sosok yang dibanggakan, karena memiliki banyak keutamaan-keutamaan dalam perilaku. Karena keutamaan-keutamaan perilakunya tersebut, sosok Soewarno seringkali dikait-kaitkan dengan asal-usul nama Contoh. CON berarti memberi, TOH berarti sesuatu yang berharga. Nama Contoh mengandung makna dan semangat untuk selalu memberikan kebaikan terus menerus kepada sesama.
Diceritakan juga, konon, sebelum masuk ke dalam wilayah Kabupaten Banyumas, pada awalnya Pusat Damai menjadi bagian dari wilayah Kabupaten Cilacap. Tetapi tidak jelas kapan masa-masa masuk ke dalam wilayah Kabupaten Cilacap dan kapan mulai masuk wilayah Kabupaten Banyumas. Jejak yang bisa ditemukan hanyalah bahwa dari awal adanya Pusat Damai hingga sekarang, Pusat Damai telah dipimpin oleh 11 (sebelas) Lurah/Kepala Desa.
Lambang Kabupaten Banyumas
Peta Wilayah Kabupaten Banyumas
Silsilah Kepala Desa
Berikut silsilah Kepala Pusat Damai mulai dari
awal didirikan sampai dengan sekarang
Nama Lengkap
Periode Menjabat
Nama Lengkap
Periode Menjabat
Nama Lengkap
Periode Menjabat
Nama Lengkap
Periode Menjabat
Nama Lengkap
Periode Menjabat
Nama Lengkap
Periode Menjabat