あくまでも個人的な意見ですが、賃貸も持ち家も経験した自分としては「買った方がいい」に一票入れたいと思います。前提を説明した上で、どうしてそう思うか、理由を以下に挙げたいと思います。

大前提として、売りに出したら100%売れるであろう家を選ぶこと

これからずっと賃貸に住むよりも家を買った方がいいと思う理由を説明していきますが、「買うなら売れる家を選ぶ」のが大前提になります。
売れる家の条件として、駅から徒歩圏内にあること、古すぎないこと、日当たりがいいこと、周りに空き家が多くないこと、などが挙げられると思います。
セミリタイアしたら節約して生活していかなければならないので、簡単に引っ越しする事は難しいですし、引っ越しはしないことを前提に考えていく必要がありますが、それでも何が起こるかわからないのが人生なので、売れない家は絶対に買わないようにしましょう。

同じ条件の家に住むなら、賃貸よりも持ち家の方が月額負担が軽いから

不動産屋はだいたいこれを謳い文句にして家を売りつけようとしてきます（笑）
ですが、実際にその通りではあります。
私は最初に住んでいた賃貸家賃も、次に住んでいた持ち家フルローンも、月額負担がほとんど同じでした。ですが広さは持ち家の方が圧倒的に広かったですし、立地や利便性も持ち家の方がよかったです。
持ち家はマンションだったので、月々管理費と修繕積立金がかかりますが、それを含めて前の家の月額家賃と同じくらでした。他に固定資産税はかかりますが、賃貸は2年に1回更新料をとられることを考えるとそう大差なかったです。
一生そこに住むかも、ということを考えるならば、ワンルームのような狭めの部屋より少し広めの部屋に住んだ方がゆとりがもてるとも思います。
セミリタイア後の生活のために少しでも現金を手元に残しておいたほうがいいので、可能であればフルローンをおすすめしますが、金利が高いとか、フルローンにすると無駄が出そうな場合は少し頭金を出してもいいかもしれません。

住む場所がなくなるリスクがほとんどないから

持ち家だとしても自然災害などはあり得るので100%ではないですし、有事の際はむしろ賃貸の方が融通がきくかもしれません。
しかし、セミリタイアすると、収入が安定しなかったり低いことが原因で家を借りられない場合もあります。高齢になると死亡リスクもあるので、余計に借りにくくなっていきます。
私は現在賃貸に住んでいますが、ここに行き着くまでに他の家に入居申し込みをしたことがあります。最初、一緒に住む彼を契約者として保証会社の審査に出したのですが、彼が自営業で収入が安定しなかったこともあって、普通に審査に落ちました（笑）
私はそれまで公務員だったので、賃貸やらローンやら、とにかくそういった審査に落ちるということがほぼ考えられなかったので、初めて審査落ちという現実を目の当たりにし、賃貸に住むことのリスクを身に染みて感じたわけです…結局、今の家は会社員の身分である私名義の契約になっています。
リタイア後に借りられなくなるなら、リタイア前に借りた家に死ぬまで住んでいればいいじゃん、と思うかもしれませんが、あくまでも賃貸は借り物なので、途中どんな理由で追い出されるかわかりません。
その点持ち家であれば、ローンさえ払っていれば追い出されることはないので、とりあえず住む場所はあるという安心感を持って生活ができると思います。

うまくいけば売った時に利益になるから

売れる家を買え、と言ったのはこのためです。
家を買うと、ローンが家賃代わりの負担になりますが、例えば10年住んで家を売った時、買った時の金額から10年分の相場家賃を引いた金額よりも高値で売れれば、賃貸に住むよりもトクということになります。（実際は仲介手数料とか諸経費がかかるのでそこまで単純ではないんですが。）
私の場合、持ち家には7年ほど住んでいたのですが、たまたま不動産価格が上昇したこともあり、買った時のおよそ1.5倍の金額で売れたので、実質家賃負担ゼロ、さらに利益まで出たという状態でした。ずっと同様のことが繰り返せるのであれば、1番負担の大きい固定費である住居費部分を実質ゼロにした状態で生活していけることになります。まぁさすがにそんなにうまくはいかないと思いますけどね。
家は古くなっても、立地等の諸条件が良ければ不動産価格はそんなに下がりません。家を買ったら一生そこに住まなければいけないわけではなく、売って引っ越すこともできます。家選びさえ間違えなければ持ち家にして損することはほとんどないんじゃないかと思います。

まとめ

上記の理由と自分の経験から、セミリタイアする前に家は買っておきたい、と思っている今日この頃です。
いざという時に売れる家を選ぶのは難しいと感じるかもしれません。私は不動産についてはプロでもなんでもなくただの素人ですが、そんな素人の私から見ても、なんでそんな家買ったんだろう…？という人は周りにけっこういます。不動産の価値を深く考えず、マイホーム願望から微妙な家を買っちゃう人は少なくないです。ずっと働くつもりならそれでもいいかもしれませんが、セミリタイアしようと思うなら少しは考えないと大変なことになります。
その家が売れるかどうか判断したい時は、周りの人にその家に住みたいか、住みたくないとしたら何故か、理由を聞いてみるといいかもしれません。売れる家というのは、住みたいと思う人が多い家だからです。
まぁあくまでも私個人の意見なので、売れそうな家を選ぶ自信がない人は賃貸でもいいと思いますし、住環境をさほど気にしないのであれば、低所得者などが優先で入れる公営住宅に住むという選択肢もあります。
ある程度住環境を重視したいという方は、ぜひ参考にしてみてください。