Es waren adelige Ritter, zwei streitbare Brüder. Doch woher sie kamen, weiß keiner mehr recht zu sagen. Die einen meinen, sie seien Edelleute gewesen, die wegen ihrer Hitzigkeit aus Friesland vertrieben worden waren, andere aber sagen, sie seien Verwandte des Löwenkämpfers Friedrich gewesen, des frommen Gründers des Rasteder Klosters. Der eine von ihnen nahm nun hier auf der Burg in Elmendorf seinen Sitz, der andere aber ließ sich auf einer Burg in Zwischenahn nieder. Doch ihre unselige Streitlust machte schließlich auch vor einander nicht halt. Auf einer Wiese in Kayhausen, gegenüber auf der anderen Seite des Zwischenahner Meeres, fielen beide in tödlicher Raserei übereinander her, so dass der eine den anderen erschlug. Wegen dieser frevelhaften Bluttat soll auf dieser Wiese bis zum heutigen Tage kein Gras mehr wachsen. Was aber aus dem Bruder geworden ist, der diesen Kampf überlebte, wissen wir nicht mehr genau: Die einen meinen, er sei als Brudermörder verfolgt ins Münsterland geflohen sein, wo seine Nachkommen noch lange gelebt hätten. Es gibt aber auch die Ansicht, er sei der eigentliche Stammvater der Grafen zu Oldenburg gewesen.

Tatsache ist, dass die drei merkwürdig anmutenden Hügel, die der Ortschaft Dreibergen ihren Namen geben, im 12. Jh. eine sogenannte Motte gewesen sind, eine Burg auf künstlichen Hügeln und umgeben von einem Graben, in dem es wohl eher Sumpf als Wasser gegeben hat. Die Bauten auf den Hügeln waren auch keine hohen steinernen Türme und Wälle. Das ganze sah eher aus wie ein mit Palisaden befestigtes Bauernhaus aus Lehm und Fachwerk. Dennoch darf man die Bedeutung dieser Festung nicht unterschätzen, denn von hier aus wurde schon seit karolingischer Zeit die Straße kontrolliert, die von Elsfleth an der Weser bis zu den ostfriesischen Seehäfen Leer und Emden führte. Und insofern war diese Anlage zu ihrer Zeit weit bedeutender als die kleine Burgstelle an der Hunte, die später die Oldenburg genannt werden sollte.

Um 1300 ist die Burg schließlich abgebrannt und wohl auch nicht wieder aufgebaut worden. Man brauchte sie nicht mehr, denn inzwischen hatte das aufstrebende Grafengeschlecht seinen  Stammsitz nach Oldenburg verlegt und das Land so weit unter seine Kontrolle gebracht, dass es keiner Befestigung innerhalb der Herrschaftsgrenzen mehr bedurfte. So blieb die alte Burgstelle sich selbst überlassen und nichts blieb außer diesen Hügeln, die noch heute in eigentümlicher Weise aus der ansonsten so flachen Landschaft herausragen.