「ウラシマ効果」の疑問

こっちにまとめる。
浩子さんの長年の疑問とは以下の内容です。

地球からロケットが（光速に近いような）高速で遠ざかってまた帰ってきたときに、ロケットにいた人間はあまり年をとっていなくて、地球にいる人間は年をとっている。
しかし逆に、ロケットが止まっていると考えて地球が光速で遠ざかって帰ってきた、と考えることもできるのではないだろうか。
そうなると、ロケットにいた人間だけ年をとっていないのはおかしい。

コンサート後に「それでも数学科出身か」といわれつつヽ(^^;)ノ、教えを請うて自分ではわかった気になったけど、答えとして日本語にできないなぁ。
ロケットのほうは行って帰ってこなきゃいけないので、加速して減速してまた加速する。加速度の変化（加加速度）がつまりはウラシマ効果の要因であるとゆうこと？
うーん、やっぱりわかってないかも。