Base de datos muy pesada

TerraNode.net · 20 Oct 2022

Hola a todos betas.

Tengo un sistema de mensajería que actualmente tiene 23k registros de ordenes, y mi sistema esta alojado en un hosting, comenzamos con un hosting compartido pero a medida que la base crece y se mandan a hacer consultas el sistema se pone lento, migramos después a un hosting semidedicado y también quedo corto, ahora estoy planeando dos opciones, según su conocimiento cual consideran que es más factible:

1) Cambiar el sistema con base de datos incluidas a un vps con mas de 4gb de ram y 4 core
2) alojar la base de datos solamente en una instancia con bastante potencia y dejar el sistema en el hosting que haga sus consultas a donde está la base

Cuando hago un breve análisis veo que es por algunos querys que se ejecutan y mandan a buscar en toda la base lo que hace que se ponga lento y el CPU del hosting se eleva al 100%

moiseseccam · 20 Oct 2022

Migrar a Postgres?
Lo mejor sería tener el servidor web en un lado y la BBDD en otro. Pero igual optimiza tus queries primero.

TerraNode.net · 20 Oct 2022

moiseseccam dijo:
Migrar a Postgres?
Lo mejor sería tener el servidor web en un lado y la BBDD en otro.

La base es Mysql, si he pensado, por eso lo pongo como opción 2, pero al estar el sistema en un proveedor de hosting y la base en otro proveedor, haciendo que esten en diferentes redes no sería tan rápida como estar en local, pero teniendo en cuenta que en eeuu los ping más rapidos por la interconexion que existe puede que esta mejore si la base tiene más potencia...he alli mi duda

m16u31 · 20 Oct 2022

estas seguro que estas haciendo bien las consultas?, yo tengo millones de registros y sin problemas las ejecuta.
23K es muy poco para estresar una DB.
estas usando algún ORM? Framework?
las tablas están optimizadas?
usas índices?

TerraNode.net · 20 Oct 2022

m16u31 dijo:
estas seguro que estas haciendo bien las consultas?, yo tengo millones de registros y sin problemas las ejecuta.
23K es muy poco para estresar una DB.
estas usando algún ORM? Framework?
las tablas están optimizadas?
usas índices?

El sistema esta hecho tengo entendido en laravel con vue

moiseseccam · 20 Oct 2022

jjcovena dijo:
El sistema esta hecho tengo entendido en laravel con vue

Hazle un EXPLAIN a todas las consultas que saturan tu base, para ver si es problema de recursos o de mala optimización de Queries.

Rich_Alex · 20 Oct 2022

Hola, no soy experto en bases de datos, pero he visto aplicaciones online que consultan e insertan y actualizan en bases de datos SQL en hosting compartidos con mas de 1 millón de registros y las consultas las hace en menos de 1 segundo.

También puedo poner de ejemplo: sitios en wordpress con miles de visitas diarias y todo el contenido está en sus bases de datos. Y si le incluimos los complementos... todo va a parar a la base de datos.

Por eso te aconsejo que busques a una persona experta en queries (consultas SQL); y estoy casi seguro que ahí tienes el problema, porque 23 mil registros no es nada para una base de datos.

Saludos.

m16u31 · 20 Oct 2022

jjcovena dijo:
El sistema esta hecho tengo entendido en laravel con vue

entonces confirmado las consultas estan mal hechas/optimizadas. Están haciendo eager loading demás por eso esta lento todo y saturado el servidor.

Yo tengo proyectos con millones de registros hechos con mysql, laravel y vuejs. Así que por ahi no va el problema. El problema viene que el que programo no lo hizo bien.

Benderslab · 20 Oct 2022

Antes de pensar en migrar a un pc de la nasa, deberías contratar a alguien que revise todas las consultas. Creo que es más problema de optimización que de falta de recursos.

TerraNode.net · 20 Oct 2022

Benderslab dijo:
Antes de pensar en migrar a un pc de la nasa, deberías contratar a alguien que revise todas las consultas. Creo que es más problema de optimización que de falta de recursos.

Si, eso estoy viendo según los comentarios de los amigos acá presentes

TerraNode.net · 20 Oct 2022

m16u31 dijo:
entonces confirmado las consultas estan mal hechas/optimizadas. Están haciendo eager loading demás por eso esta lento todo y saturado el servidor.

Yo tengo proyectos con millones de registros hechos con mysql, laravel y vuejs. Así que por ahi no va el problema. El problema viene que el que programo no lo hizo bien.

Actualmente me dicen que el sistema en la web funciona con Eager Loading el cual es lento, pero tenemos una pwa del mismo y esa es Lazy Loading y alli no se siente la lentitud, si se cambiase a lazy loading mejoraria o que recomiendas?

Plaga · 20 Oct 2022

Me suscribo al tema.

m16u31 · 20 Oct 2022

lo

jjcovena dijo:
Actualmente me dicen que el sistema en la web funciona con Eager Loading el cual es lento, pero tenemos una pwa del mismo y esa es Lazy Loading y alli no se siente la lentitud, si se cambiase a lazy loading mejoraria o que recomiendas?

los mas simple y rapido que puedes hacer y salir del apuro, es instalar debugbar en tu entorno de desarrollo y ver cuanto tiempo/recursos toman cada query.

El problema supongo que digamos estas haciendo consultas a la tabla Orders, pero como esta mal el eager loading esta haciendo consultas a las otras tablas relacionadas al modelo de Order y por eso es pesada la consulta y pone todo lento.(deberias hacen 1 consulta pero estas haciendo no se ... 5 a otras tablas)

Estas haciendo consultas demás para algo simple. como te decía antes instala debugbar y veras todos los detalles de consumo.

Berker · 20 Oct 2022

jjcovena dijo:
Hola a todos betas.

Tengo un sistema de mensajería que actualmente tiene 23k registros de ordenes, y mi sistema esta alojado en un hosting, comenzamos con un hosting compartido pero a medida que la base crece y se mandan a hacer consultas el sistema se pone lento, migramos después a un hosting semidedicado y también quedo corto, ahora estoy planeando dos opciones, según su conocimiento cual consideran que es más factible:

1) Cambiar el sistema con base de datos incluidas a un vps con mas de 4gb de ram y 4 core
2) alojar la base de datos solamente en una instancia con bastante potencia y dejar el sistema en el hosting que haga sus consultas a donde está la base

Cuando hago un breve análisis veo que es por algunos querys que se ejecutan y mandan a buscar en toda la base lo que hace que se ponga lento y el CPU del hosting se eleva al 100%

Alquilar un servidor dedicado a razón de 35 euros mensuales en Hetzner y poder disponer a largo plazo de no necesitar upgrades repentinos, no sería mejor opción? Quizás el coste sea desfavorable pero a largo plazo no necesitarás hacer muchos cambios y podrás ampliar el dedicado a tu necesidad

m16u31 · 20 Oct 2022

Berker dijo:
Alquilar un servidor dedicado a razón de 35 euros mensuales en Hetzner y poder disponer a largo plazo de no necesitar upgrades repentinos, no sería mejor opción? Quizás el coste sea desfavorable pero a largo plazo no necesitarás hacer muchos cambios y podrás ampliar el dedicado a tu necesidad

No, ese no es el problema. Yo pago 37 dólares anuales por hosting en BanaHosting, y sin problemas muevo millones de registros y miles de consultas por hora, claro .... siempre que este bien optimizado todo.

23K registros es muy poco para estresar un servidor y gastar dinero en algo "mejor"

Berker · 20 Oct 2022

m16u31 dijo:
No, ese no es el problema. Yo pago 37 dólares anuales por hosting en BanaHosting, y sin problemas muevo millones de registros y miles de consultas por hora, claro .... siempre que este bien optimizado todo.

23K registros es muy poco para estrenar un servidor y gastar dinero en algo "mejor"

Si si, pero yo lo estoy mirando más a futuro... por ahora son 23k de registro pero luego si llega a tener necesidad de alojar mucho más registros, guardar no se... pdf, imágenes, o cosas así relacionadas al uso? Yo en el que tengo estoy manejando casi millón y pico de registros como consultas en general, así que 0 drama... pero en mi caso estoy aliviado porque usa procesamiento más que almacenamiento

TerraNode.net · 20 Oct 2022

Acabo de revisar y por lo que veo es que cuando se me carga un Crud este manda a validar de los 23k en las tablas ordenes, ciudades, clientes, empresas, servicios, estados, mensajeros, fechas...

Entonces creo que lo ideal es que solo me muestre las ordenes y que cuando quiera buscar una orden en especifico alli si me mande a buscar mediante un boton de buscar segun los requerimientos de los filtros, no que cada vez que se carguen se aplique ese filtro en especifico....que opinan amigos??

moiseseccam · 20 Oct 2022

jjcovena dijo:
Ver el archivo adjunto 870129

Acabo de revisar y por lo que veo es que cuando se me carga un Crud este manda a validar de los 23k en las tablas ordenes, ciudades, clientes, empresas, servicios, estados, mensajeros, fechas...

Entonces creo que lo ideal es que solo me muestre las ordenes y que cuando quiera buscar una orden en especifico alli si me mande a buscar mediante un boton de buscar segun los requerimientos de los filtros, no que cada vez que se carguen se aplique ese filtro en especifico....que opinan amigos??

Incluso cargando 23K de registro y haciendo JOINS no debería consumir mucho tiempo/recurso.
Revisa si están bien los índices de las tablas que estas consultando.

cholemon · 20 Oct 2022

Optimiza las querys.

Tengo una web en un semidedicado en Banahosting y consulto una tabla que tiene registros > a 50k y creciendo... No demora 1 segundo en la consulta.

Saludos.!

carlosnagomi · 20 Oct 2022

Son muchas cosas, no solo, las consultas realizadas en su sistema, para eso existen las buenas prácticas, ve con algun desarrollador, y que realice pruebas, Laravel utiliza Eloquent ORM, existen gráficas, tiempo de consultas, tengo un sistema que realice hace 2 años, la DB pesa 8GB un poco más, un VPS de 2 cores, 6 de ram, mueven el sistema como si nada!