unity3d – Problema de aumento de memoria ram al usar una dll nativa Unity


tengo un juego que hice y utiliza como plugin una dll que he escrito en C++.
Durante el juego accedo varias veces a la dll y cada vez que accedo a un método de la dll, la asignación de memoria del ejecutable crece y crece (arranca en unos 200mb y he visto que durante el uso del juego se va a mas de 2gb de ram). He buscado información al respecto y lo que hice fue matar las variables que utilizo dentro de la dll con Delete(xxx), pero aún así no hay cambios respecto a el aumento de ram. A la dll accedo a través de dllimport por lo que pensé si hay forma de poder cargar la dll manualmente desde csharp, acceder a una función de la misma y luego descargarla manualmente para que lo que se haya creado en ram se elimine al darla de baja.
Es posible hacer algo así? Gracias