既存境界塀の棄損についてご質問です。

Q.ご相談内容

今年に入って土地を買いました。
私の両隣には家が建っていて、隣人A隣人Ｂがいます。
その土地はどうやら40年ほど前に親から子に相続されたらしく、大きい土地を5等分し、その土地にはその時に建てられたブロック塀が境界線ぴったりに立っています。
ブロック塀は古くフェンスが鉄で錆びてます。

私が購入する際は、家を壊す前の確定測量図に境界線ピッタリにブロック塀が立っていると説明を受けましたが、家が建ってからブロック塀が斜めになっていました。
隣人A曰く、解体屋が工事をする際にブロック塀と家の周りがコンクリだったため、壊す時に傾いたのだと言ってきました。
隣人Ｂはブロック塀が壊れることを恐れ、口酸っぱくブロック塀を壊すなよと言っていたそうです。案の定、解体屋がブロック塀を壊し、ブロック塀を無料で建ててもらっていました。

しかし、隣人Aはその時に壊されたことを解体屋に言われるまで黙っていたそうです。
それを言われたのが家が建ったあとでした。
土地を買った不動産屋に連絡をすると、経年劣化で傾いたんだろう、今更言われても遅いの一点張りで、直す気もありません。
なので、証拠があれば直して貰えるのかと思い、解体した時の更地の写真を見せてくれと頼むと、そんなものはありませんと言われました。

不動産屋は家を壊した後に土地を売るために、写真を取らないのでしょうか？
確定測量図で斜めっていないのに、後から斜めってると言われても、それは土地を買う前の解体屋が壊した話だから、それは隣人Aと不動産屋の話でやることであって、土地を買ってお互いの境界線に建っていたとしても、不動産屋が壊したのだから、そのブロック塀がなんらかなの形で隣人Aに倒れて家や車を傷つけても僕が修理費などを負担しないといけませんか？
隣人とも揉めたくないので、どうしたら直して貰えますでしょうか。