Amenazas telefónicas

hace unos dias me ha llamado un hombre a mi móvil, pidiendome una cantidad de dinero, exactamente 700 lereles, alegando que había quedado con una chica y despues no apareciera.

Yo nunca hice eso, es verdad que puedo llamar o escribir whatsapp a alguna chica pidiendo información, siempre que en el anuncio aclaren que dan información por ese medio, pero si no me interesa lo hago saber, y si digo que voy aparezco a la hora acordada.
El problema está en que el "señor" no se da por vencido por mucho que le digo que no voy a pagar, me escribe continuamente, llama y siempre amenazando.
Este fin de semana me ha llamado a las dos de la madrugada, estaba con mi mujer en cama, conocí el número y como no lo tenía guardado, excusandome en que no conocía, pude salvar la situación.
Estoy preocupado, y no se que hacer ya que este tio no tiene limites, y presiento que me puede meter en un buen problema. De hecho, esa llamada ha generado un pequeño resquemor en la relación con mi esposa.
Alguno ha tenido alguna experiencia similar? Como ha solucionado este problema?
Agradezco cualquier tipo de consejo.
Un saludo a todos