Деревья раздора

[Bikulina]

Недалеко от нашего дома есть земля, которая принадлежит нам и одному фермеру, его половина была подстрижена и ухожена, наша, так как мы не так давно переехали, была заброшена.
Осенью мы её очистили от бурьяна и посадили три дерева, две вишни и сливу. Через некоторое время приходит сосед и говорит, что два наших дерева посажены на его территории, и это правда, агент по недвижимости ошибся, показывая нам нашу половину, а мы не проверили.
Муж предложил фермеру оставить всё как есть и поделить будущий урожай, он, вроде бы, согласился, но, буквально, вчера он изменил своё решение и заявил, что это его вишня и слива и делиться он с нами не желает.
Вопрос состоит в том, можем мы пересадить деревья на нашу территорию без последствий или это будет считаться, как похищение с чужой земли?