Oficina usando dos QNAP para copias y gestion de datos
#1
Hola

Este ejemplo está basado en el caso real ( con modificaciones ) de una oficina usando dos QNAP en dos ubicaciones separadas. Algo aplicable a muchos negocios.

Tenemos dos sedes:
  1. Una oficina donde tenemos una red de ordenadores, un servidor centralizado y una QNAP
  2. Una ubicación donde tendremos nuestra segunda QNAP que bien podría ser nuestro domicilio.
El esquema de conexionado sería similar a este
   
Hay tres switches, uno para la telefonía, y dos más para los equipos. Pero podría ser uno sólo. Aunque si sería recomendable separar el tráfico de voz ip y el de la red informática (mejor aún si podemos hacer vlans)

La conexión entre sedes será unidireccional de la oficina hacia el domicio. Aquí es importante la velocidad de subida de la oficina ya que es la que nos limitará mas.
Un caso favorable ideal sería en la oficina 100/100 (fibra simétrica) y en el dominicio 100/10 (la tipica conexión asimétrica). La oficina sube a 100 y el dominicio baja a 100.
Un caso desfavorable es oficina a 100/10 y el dominicio a 100/10. La oficina envía a 10 y el domicilio aunque es capaz de bajar a 100, sólo baja los 10 que es capz de enviar la oficina.

En la oficina la organización es la siguiente:
  1. Un equipo con funciones de servidor con programas específicos comunes (ERP, CRM, facturación, control almacén...). También tiene carpetas compartidas comunes entre la oficina.
  2. Equipos de oficina clientes de los programas del servidor, con acceso a carpetas compartidas del servidor y con una carpeta de datos propia (tipo Mis documentos)
  3. Una nas de QNAP que a contener copias de las carpetas de los equipos de oficina, copia de las carpetas comunes ubicadas en el servidor, y las copias de seguridad que generan los programas del servidor (si no es posible hay otras formas de hacerlo pero nos obligará a pasos extras).
Preparación de la nas de oficina para tener las copias
  • Creamos tantos usuarios como equipos tengamos en la oficina y hacemos uno para el servidor (usuario1, usuario2,...principal)
  • Instalamos y activamos el servicio QsyncCentral.
  • Creamos carpetas compartidas, una para cada de los equipos con permisos de acceso exclusivo para cada uno de los usuarios (pc1,pc2,...servidor). A la hora de crearlas, daremos sólo acceso al usuario que la va a usar y activaremos la casilla de "Habilitar la sincronización en esta carpeta compartida"
  • Creamos un usuario mas con permisos como cliente OpenVPN
  • Configuramos la nas como servidor de OpenVPN, permitiendo el acceso sólo al usuario antes creado.
  • Habilitamos el servicio RTRR
  • activamos el servicio DDNS de Qnap myqnapcloud si no tenemos una ip estática en la oficina.
  • Si es posible usaremos el sistema de instantaneas de QNAP, algo que no es posible en todos los modelos
Preparación del equipo de oficina
  • Instalamos el programa Qsync para que sincronice la carpeta de documentos local en la carpeta pc adecuada. Cuando pida credenciales usaremos la asignada a la carpeta. La idea es que cada equipo sólo acceda a su carpeta y no a otra.
Preparación del equipo servidor
  • Definimos 2 o 3 particiones o discos duros. La primera para el sistema operativo y los programas de gestión, la segunda para las carpetas comunes prestadas al resto de equipos de la oficina y la tercera para las copias de seguridad del programa de gestión o la imagenes backup de la particion 1.
  • Podemos hacer lo mismo usando Qsync con las carpetas compartidas. Pero al ser estas usadas por los equipos de la oficina de forma continuada, podriamos tener algún problema de sincroniación por exceso de cambios simultáneos. Con esto no quiere decir que no funcione, si no que podemos tener retardos de sincroniación. Y en vez de hacerlo en tiempo real, lo haremos como una tarea programada. Instalaremos el programa NekBackup Replicator de Qnap y configuraremos la copia de las carpetas comunes compartidas de forma periodica hacia la carpeta de la nas llamada "servidor".
  • Si los programas de gestión permiten hacer su propia copia de seguridad, los configuramos para que lo dejen en una carpeta compartida de la nas o en su defecto en una local del equipo que luego deberiamos sincronizar hacia una carpeta mas en la qnap con Qsync. Si el programa no lo permite, tenemos que usar herramientas externas que nos hagan una copia en caliente de la particion del equipo y dejarla en la partición tercera. Bien sean datos de copia de seguridad o copias de las imagenes de las particiones , estas han de ser sincronizadas hacia una carpeta de la nas. Esta copia la haremos como tarea de NetBack Replicator.
El tamaño de las particiones depende de lo que vaya a ser instalado en el servidor. Por ejemplo en un disco de 500GB podria particionarse en 150GB para SO y programas, 100GB para carpetas compartidas y 250GB para backup de la partione de 150GB. Si El programa de gestion hace su propia copia, hariamos dos partiones: una de 150GB para SO y programas y 350GB para carpetas compartidas y la carpeta de copias de seguridad generadas por el programa de gestión.
Desgraciadamente no hay una regla matemática para preveer el tamaño de las particiones y va en función de las necesidades reales de cada negocio. Si manejamos volumenes muy grandes podemos hacerlo con varios discos en el servidor. Por ejemplo 250 GB para SO, un segundo disco de 2TB para datos y tercer disco de 1TB para copias locales.

Las herramientas externas que antes mencionaba para hacer copias serán programas tipo Veeam Backup, Acronis True Image... o cualquier programa que permita hacer una copia de una partición en caliente.

Con todo esto, podemos decir que nuestra nas de la oficina es el almacén replica de los datos de las carpetas de los equipos, de los datos del servidor y datos o copias del programa de gestión.

A grandes rasgos el funcionamiento es el siguiente:
-Los datos de los equipos tienen su sincroniación en la NAS. Es decir si se rompe el equipo pongo otro nuevo y si instalo Qsync los datos vendrán de vuelta.
-Los datos de carpetas del servidor tienen su sincroniación en la NAS o bien NetBack Replicator hace copia programada de ellos hacia la nas. Esta tarea podria hacerse fuera de horario laboral (comidas y al finalizar la jornada).
-Los datos de backup del programa de gestión tienen su sincronización en la NAS o bien en la tarea anterior de NetBack Replicator incluimos la ruta de estas copias.
   


Preparación de la nas doméstica
Para asegurar mas el sistema por si hubiese algún tipo de desastre en la oficina usaremos la nas doméstica.
La configuramos para que sea cliente OpenVPN de la nas de la oficina con reconexión automática.
Configuramos tareas de Hybrid Backup para que sincronice en el sentido de venida usando el servicio RTRR de la nas de la oficina. Esto es así porque traemos datos y es la nas doméstica la que inicia el trabajo.
   

Resumiendo lo que estamos consiguiendo es que además de tener los datos en los equipos, tengamos copias de ellos en dos ubicaciones mas y una de ellas en otra ubicación exterior.

Todo lo anterior es orientativo y podemos hacerlo con muchas mas combinaciones y situaciones y no son aplicables las mismas soluciones en todos los escenarios.
Por ejemplo podemos eliminar la nas doméstica y usar discos duros usb externos para obtener las copias de forma automática. Algo que se contó en otro hilo.
Por ejemplo podemos trabajar con las carpetas compartidas estando estas en la Qnap, si no tenemos servidor centralizado.

Como siempre si veis errores o erratas enviarme un privado y se corrige.
Un saludo

Agur eta ondo ibili

Ganekogorta (TS-469Pro, TVS-673e, QBoat Sunny y TS-453Be) Ʀɐɯ0η
  Responder
#2
Gracias por este gran tutorial Ganeko!.
  Responder
#3
Buenas tardes.

Antes de nada felicitarte por tu magnífica explicación.

Estoy organizado algo similar. En la oficina tengo un NAS pero solo lo uso para grabar las copias de seguridad y para el sevidor de VPN para el acceso remoto a la oficina.

He decidido aprovechar otro nas que tengo en casa y tener una replica de las carpetas de copias de seguridad, para ello he instalado hybrid backup sync 3, en los dos equipos. Desde la oficina creo un trabajo de sincronización en el NAS remoto de casa para que replique las copias de seguridad usando RTRR.

Hasta aquí todo bien, el problema es que cuando ejecuto la tarea, para sincronizar una imagen VHDX de 80GB ha estado un día y no ha pasado del 25%, a pesar de que en casa tengo fibra simetrica de 600 Mb (ayer me subieron a 1GB) y en la oficina hay fibra simetrica de 100 Mb.

Hay alguna forma de mejorar esta velocidad, porque con lo que tarda en sincronizar esta solución no es viable. Podría tardar un mes en sincronizar ambos NAS.

En cuanto a los NAS uno es un TS-253A y el otro el TS-251, ambos con dos HDD de 2TB en RAID 1.

Un saludo.

No se si es el sitio adecuado para exponer el tema, pero al estar relacionado lo he creido así. En caso contrario si el administrador no lo considera conveniente abriria un nuevo post, ya que no he encontrado ningún hilo similar.
  Responder
#4
Hola, desde luego la sincronización te tarda muchísimo tiempo y no es normal. Unas pocas horas sí lo sería. Según explicas utilizas RTRR para sincronizar. Según se puede ver aquí  https://www.qnap.com/es-es/software/hybrid-backup-sync  RTRR utiliza el algoritmo de control bbr. Sin embargo uno de los nas que utilizas, el TS-251, lo trae desactivado por defecto ( el otro nas lo desconozco ). Te digo ésto porque en esta web tengo un tutorial para acelerar el rendimiento en los nas y está hecho a partir de un TS-251. 

Lo puedes ver aquí:    https://www.qnapclub.es/showthread.php?tid=3908

Aun así el tiempo que indicas que tarda es una barbaridad. Algo más tiene que estar pasando en algún punto de la red, en la oficina o en casa.
Por cierto, hybrid backup sync tiene la función quedup que NO deberías utilizar.
  Responder
#5
Hola
Una pregunta ¿estás haciendo las copias por vpn? ¿Que vpn?

Cuando haces el test de prueba de HBS3 al crear el destino remoto ¿que velocidad te dice?

En tu caso la velocidad limitante es la de la oficina con sus 100 simétricos. Envía a 100 Mb... que eso traducido a MB/s junto con la vpn y lo que te suministre en realidad tu proveedor de internet se queda en ... a ver qué velocidad te indica el test.

Luego es echar cuentas para calcular tiempos y ten en cuenta que no es lo mismo hacerlo cuando en la oficina están trabajando (y consumiendo ancho de banda de esos 100).

La primera copia será la que más tarda, luego las siguientes serán más cortas por hacer sólo de los archivos cambiados.

Hola

Una pregunta a otros usuarios ¿se ven las imágenes del mensaje original?
Yo no las veo .

Si no están, miraría de intentar a corregirlo.
Un saludo

Agur eta ondo ibili

Ganekogorta (TS-469Pro, TVS-673e, QBoat Sunny y TS-453Be) Ʀɐɯ0η
  Responder
#6
Thumbs Up 
Hola.  Gracias por las rápidas respuestas. Smile



1.- A la propuesta de yeraycito, si fuera para algo mío no me importaría destripar el cacharro e investigar lo que haga falta, pero limitaciones, entre ellas es que apenas he trabajado con linux. He leido el hilo indicado y se nota que has hecho un trabajo de investigación impresionante. Pero al ser algo para la oficina prefiero no meterme en ese terreno, pero no obstante muy agradecido con la información. Por cierto lo de quedup, según he leido se utiliza para las instantáneas, y entiendo que en este caso no lo utilizo, de hecho no veo ninguna opción para usarlo o desabilitarlo.



2.- Respecto a lo que me preguntas Ganekogort, los datos on los siguientes.

- Uso OpenVPN.

- El test de velocidad desde HBS 3 con RTRR  sale 8,76 MB/S. Al hacer un test de velocidad de las líneas sale esto:  Oficina 96 Mb/s y mi linea test 943 Mb/s (simétricas). No entiendo que solamente saque  8,76 de casi 100. Está usando un 10 % de la velocidad disponible. Los test los he hecho de noche que no hay nadie trabajando. No se la limitación que tienen estos NAS lo mismo se necesita alguno más potente para estas cosas.

- En casa tengo Movistar y en la oficina orange.

- El caso es sincronizar las copias existentes, y después al ser incrementales pues será poco tiempo, pero para sincronizar unos 700 GB, a ese ritmo se puede tirar un mes.



- En cuanto a lo que preguntas de las imágnes yo no veo ninguna.



Al ser la primera vez que uso esta herramienta no se en que margen me muevo y por eso pregunto los que tenéis más experiencia. No se si usando RSYNC la velocidad será similar, porque sería otra alternativa a tener en cuenta.



Lo que no acabo de entender es que hace un par de años tenía fibra simétrica de 100 y me daba la impresión de que las transferencias de archivos (subida) eran más rápidas que ahora con 10 veces más de velocidad.



Un saludo y mis agradecimientos por vuestra colaboración.
  Responder
#7
Hola

Primero vamos a aclarar un poco las capacidades de transmisión.
Como ya te comenté anteriormente, el que limita es la de menor valor al enviar. En tu caso la oficina es de 100 Mbps.
Pero eso no significa que son 100MB/s.
Idealmente 1MB/s son 8Mbps :O

Así que podrías enviar a un máximo ideal de 12.5MB/s que se parecen más tus 8,76MB/s.
Hay una disminución debido al uso de la VPN y que no llegamos al ideal.

El uso de internet no es lo ideal para grandes cantidades de datos.

Yo tenía un problema parecido con un archivo diario de 35GB. Al final opté por comprimirlo, quedando en unos 12GB y enviarlo. Me compensa invertir el tiempo en la compresión y enviarlo así.
Un saludo

Agur eta ondo ibili

Ganekogorta (TS-469Pro, TVS-673e, QBoat Sunny y TS-453Be) Ʀɐɯ0η
  Responder
#8
Hola, corregidme si me equivoco pero creo que se pueden hacer dos cosas para mejorar la situación:

1 - Los dos nas que comentas tienen doble conexión lan cada uno. Al ser de doble conexión puedes escoger en cual de ellas va el servidor vpn. Una vez asignado el servidor vpn a una conexión lan puedes poner a Hybrid Backup Sync en la otra conexión lan, de ese mismo nas ( el de la oficina ) para que no pase por la vpn. Eso se hace desde el panel de control del nas. En el otro nas ( el de casa ) tendrías que hacer lo mismo.

2 - La otra idea es probar con rsync a ver si lo hace más rápido.
  Responder
#9
(08-04-2021, 02:07 PM)yeraycito escribió: Hola, corregidme si me equivoco pero creo que se pueden hacer dos cosas para mejorar la situación:

1 - Los dos nas que comentas tienen doble conexión lan cada uno. Al ser de doble conexión puedes escoger en cual de ellas va el servidor vpn. Una vez asignado el servidor vpn a una conexión lan puedes poner a Hybrid Backup Sync en la otra conexión lan, de ese mismo nas ( el de la oficina ) para que no pase por la vpn. Eso se hace desde el panel de control del nas. En el otro nas ( el de casa ) tendrías que hacer lo mismo.
No le veo sentido. La comunicación vpn se hace para tunelizar las comunicaciones entre ambas nas. Da igual usar HBS3 o copiar a pelo archivos por consola.
En el hipotético caso de usar la otra boca para enviar datos al exterior se enviarían sin cifrar.

La idea de tener dos ethernet podría ser que usa se usase sólo para comunicaciones de la red local. Y la segunda para comunicaciones al exterior (con o sin vpn).
(08-04-2021, 02:07 PM)yeraycito escribió: 2 - La otra idea es probar con rsync a ver si lo hace más rápido.
No creo que se gane mucho en velocidad mantenida. Pero aunque se haga, no va a pasar de esos 12MB/s teóricos.

Creo que se estaba pensando que tener 100Mbps son 100MB/s y eso no es así.

Con comunicaciones aseguradas a 1Gbps, podría ser, pero claro hablamos de 10 veces más rápido. Lo que antes eran 10h, ahora es 1h. Y eso sí que se nota.

Muchas veces nos olvidamos de que hay compresores. Y estos fueron inventados para enviar menos datos.
Que tiempos cuando tenía un módem de 9600bps. Cuando pagamos la conexión por tiempo si que nos molestábamos en comprimir. Ahora con la tarifa plana, sólo nos preocupamos si tarda mucho (pero mucho) o si nos lo rechazan por exceso de tamaño
Un saludo

Agur eta ondo ibili

Ganekogorta (TS-469Pro, TVS-673e, QBoat Sunny y TS-453Be) Ʀɐɯ0η
  Responder
#10
Lo que parece que ralentiza la sincronización parece ser el uso de la vpn. En teoría el no utilizarla aumentaría el rendimiento dado que las pruebas de velocidad en la oficina son mayores. Si conectamos las dos lan del nas ocurre lo siguiente:

 - En una lan del nas va la vpn. El servidor vpn está en la oficina. Todos los clientes desde el exterior acceden de forma segura al nas de la oficina mediante la vpn.

 - En la otra lan del nas de la oficina va hybrid backup sync. Este se conecta con el nas de casa únicamente para la sincronización y realizar la copia de seguridad con lo cual no veo mucho peligro si se utiliza para eso exclusívamente y, al no pasar por la vpn se ganaría en rendimiento. Bien es cierto que los archivos se sincronizan sin cifrar, pero se puede hacer otra cosa. Antes de sincronizar desde File Station podemos cifrar ese archivo ( parece que sólo quiere sincronizar un archivo de imagen VHDX ) con lo cual en el hipotético y difícil caso de que ese archivo fuera " intervenido " no habría problemas. Al fin y al cabo, lo único que quiere hacer es una copia de seguridad.
  Responder




Usuarios navegando en este tema: 1 invitado(s)