香西は鎌倉初期に香西氏によって開かれた町で、香西浦での漁業が盛んであり、有事にはそれらの漁夫が水軍として活躍しておりました。
天保7年（1836年）の「四国遍路道中雑誌」に香西浦は「人家凡千軒も有べし。農家漁家入接、綿并粉類を製す。少しの船間も有って随分繁華の場所にして、商戸多有の地なり」などと記されています。
香西の南東部には丸亀街道が通り宿場町もございました。
また、「香西はむきむきの町」といわれ、家々の向きが整然としておりませんでした。
これは中世、香西氏の水軍の要塞基地でもございましたので、道路は迷路のように袋小路やかぎ型に折れていて、角を曲がるたびに行き止まりや、突然海が見えたりいたします。
港に沿っては廻船問屋の大きな屋敷が今でも残っております。

常善寺はもともと甲斐長沢が開山の地でございます。
その後、御縁あって大永元年（1521年）にこの讃岐国香西に移ってまいりました。