One place for hosting & domains

      ProxySQL

      Como otimizar consultas do MySQL com o cache do ProxySQL no Ubuntu 16.04


      O autor selecionou a Free Software Foundation para receber uma doação como parte do programa Write for DOnations.

      Introdução

      O ProxySQL é um servidor proxy com reconhecimento de SQL que pode ser posicionado entre seu aplicativo e seu banco de dados. Ele oferece muitos recursos, como o de balancear carga entre vários servidores de MySQL e servir como uma camada de cache para consultas. Este tutorial irá se concentrar no recurso de cache do ProxySQL e como ele pode otimizar as consultas para o seu banco de dados do MySQL.

      O cache do MySQL ocorre quando o resultado de uma consulta é armazenado para que, quando essa consulta for repetida, o resultado possa ser retornado sem a necessidade de classificar o banco de dados. Isso pode aumentar significativamente a velocidade das consultas comuns. Em muitos métodos de cache, porém, os desenvolvedores precisam modificar o código do seu aplicativo, o que poderia introduzir um bug na base de códigos. Para evitar essa prática propensa a erros, o ProxySQL permite que você configure o cache transparente.

      No cache transparente, apenas os administradores do banco de dados precisam alterar a configuração do ProxySQL para habilitar o cache para as consultas mais comuns. Tais alterações podem ser feitas através da interface de administrador do ProxySQL. Tudo o que o desenvolvedor precisa fazer é conectar-se ao proxy que reconhece o protocolo. O proxy decidirá se a consulta pode ser atendida a partir do cache sem chegar ao servidor de back-end.

      Neste tutorial, você usará o ProxySQL para configurar o cache transparente de um servidor MySQL no Ubuntu 16.04. Em seguida, você testará seu desempenho usando o mysqlslap – com e sem o cache, no intuito de demonstrar o efeito do cache e quanto tempo ele pode poupar na execução de várias consultas semelhantes.

      Pré-requisitos

      Antes de iniciar este guia, você precisará do seguinte:

      Passo 1 — Instalando e configurando o servidor MySQL

      Primeiro, você instalará o servidor MySQL e o configurará para ser usado pelo ProxySQL como um servidor de back-end para atender consultas de clientes.

      No Ubuntu 16.04, o mysql-server pode ser instalado usando este comando:

      • sudo apt-get install mysql-server

      Pressione Y para confirmar a instalação.

      Em seguida, você será solicitado a digitar sua senha de usuário root do MySQL. Digite uma senha forte e salve-a para usar mais tarde.

      Agora que você tem seu servidor MySQL pronto, irá configurá-lo para que o ProxySQL funcione corretamente. Você precisa adicionar um usuário monitor para o ProxySQL monitorar o servidor MySQL, uma vez que o ProxySQL escuta o servidor de back-end através do protocolo da SQL, em vez de usar uma conexão TCP ou pedidos pelo método GET do HTTP – para garantir que o back-end esteja funcionando. O monitor usará uma conexão SQL fictícia para determinar se o servidor está ativo ou não.

      Primeiro, faça login no shell do MySQL:

      O parâmetro -uroot, conecta você através do usuário root do MySQL e o -p solicita a senha do usuário root. Esse usuário root é diferente do usuário root do seu servidor e a senha é a que você digitou quando instalou o pacote mysql-server.

      Digite a senha do root e pressione ENTER.

      Agora, você criará dois usuários, um chamado monitor para o ProxySQL e outro que você usará para executar consultas de clientes e conceder-lhes os privilégios corretos. Este tutorial nomeará esse usuário como sammy.

      Crie o usuário monitor:

      • CREATE USER 'monitor'@'%' IDENTIFIED BY 'monitor_password';

      A consulta CREATE USER é usada para criar um novo usuário que pode se conectar a partir de IPs específicos. Usar % denota que o usuário pode se conectar a partir de qualquer endereço IP. IDENTIFIED BY define a senha para o novo usuário; digite qualquer senha que quiser, mas certifique-se de lembrá-la para uso posterior.

      Com o usuário monitor criado, crie o usuário sammy:

      • CREATE USER 'sammy'@'%' IDENTIFIED BY 'sammy_password';

      Em seguida, conceda privilégios aos seus novos usuários. Execute o seguinte comando para configurar o monitor:

      • GRANT SELECT ON sys.* TO 'monitor'@'%';

      A consulta GRANT é usada para dar privilégios aos usuários. Aqui, você concedeu privilégios somente de SELECT em todas as tabelas no banco de dados sys para o usuário monitor; ele precisa apenas desse privilégio para escutar o servidor de back-end.

      Agora, conceda ao usuário sammy todos os privilégios em relação a todos os bancos de dados:

      • GRANT ALL PRIVILEGES on *.* TO 'sammy'@'%';

      Isso permitirá que o sammy faça as consultas necessárias para testar seu banco de dados mais tarde.

      Aplique as alterações de privilégios, executando o seguinte:

      Por fim, saia do shell do mysql:

      Agora, você instalou o mysql-server e criou um usuário para ser usado pelo ProxySQL para monitorar seu servidor MySQL e outro para executar consultas de clientes. Em seguida, você instalará e configurará o ProxySQL.

      Passo 2 — Instalando e configurando o servidor ProxySQL

      Agora, você pode instalar o servidor ProxySQL, que será usado como uma camada de cache para as suas consultas. Uma camada de cache existe como uma parada entre os servidores do seu aplicativo e os servidores de back-end do banco de dados; ela é usada para se conectar ao banco de dados e salvar os resultados de algumas consultas em sua memória para acesso rápido mais tarde.

      A página de lançamentos do ProxySQL no Github oferece arquivos de instalação para distribuições comuns do Linux. Para este tutorial, você usará o wget para baixar o arquivo de instalação do ProxySQL versão 2.0.4 do, Debian:

      • wget https://github.com/sysown/proxysql/releases/download/v2.0.4/proxysql_2.0.4-ubuntu16_amd64.deb

      Em seguida, instale o pacote usando o dpkg:

      • sudo dpkg -i proxysql_2.0.4-ubuntu16_amd64.deb

      Assim que estiver instalado, inicie o ProxySQL com este comando:

      • sudo systemctl start proxysql

      Verifique se o ProxySQL iniciou corretamente com este comando:

      • sudo systemctl status proxysql

      Você receberá um resultado semelhante a este:

      Output
      root@ubuntu-s-1vcpu-2gb-sgp1-01:~# systemctl status proxysql
● proxysql.service - LSB: High Performance Advanced Proxy for MySQL
   Loaded: loaded (/etc/init.d/proxysql; bad; vendor preset: enabled)
   Active: active (exited) since Wed 2019-06-12 21:32:50 UTC; 6 months 7 days ago
     Docs: man:systemd-sysv-generator(8)
    Tasks: 0
   Memory: 0B
      CPU: 0

      Agora, é hora de conectar o seu servidor ProxySQL ao servidor MySQL. Para tanto, utilize a interface administrativa SQL do ProxySQL, a qual, por padrão, escuta a porta 6032 no localhost e tem admin como seu nome de usuário e senha.

      Conecte-se à interface executando o seguinte:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      Digite admin quando for solicitado a inserir uma senha.

      -uadmin define o nome de usuário como admin e o sinalizador -h especifica o host como localhost. A porta é 6032, especificada com o sinalizador -P.

      Aqui, você teve que especificar claramente o host e a porta porque, por padrão, o cliente MySQL se conecta usando um arquivo de socket local e a porta 3306.

      Agora que você se conectou ao shell mysql como admin, configure o usuário monitor para que o ProxySQL possa usá-lo. Primeiro, use consultas SQL padrão para definir os valores de duas variáveis globais:

      • UPDATE global_variables SET variable_value='monitor' WHERE variable_name='mysql-monitor_username';

      • UPDATE global_variables SET variable_value='monitor_password' WHERE variable_name='mysql-monitor_password';

      A variável mysql-monitor_username especifica o nome de usuário do MySQL que será usado para verificar se o servidor de back-end está ativo ou não. A variável mysql-monitor_password aponta para a senha que será usada ao se conectar ao servidor de back-end. Use a senha que criou para o nome de usuário monitor.

      Toda vez que fizer uma alteração na interface administrativa do ProxySQL, precisará usar o comando LOAD (carregar) correto para aplicar as alterações na instância do ProxySQL em execução. Você alterou variáveis globais do MySQL,assim, carregue-as no RUNTIME para aplicar as alterações:

      • LOAD MYSQL VARIABLES TO RUNTIME;

      Em seguida, SAVE (salve) as alterações no banco de dados em disco para manter as alterações entre as reinicializações. O ProxySQL usa seu próprio banco de dados do SQLite local para armazenar suas próprias tabelas e variáveis:

      • SAVE MYSQL VARIABLES TO DISK;

      Agora, você dirá ao ProxySQL sobre o servidor de back-end. A tabela mysql_servers detém as informações sobre cada servidor de back-end ao qual o ProxySQL pode conectar-se e onde pode executar consultas. Assim, adicione um novo registro usando uma instrução SQL padrão INSERT, com os seguintes valores para hostgroup_id, hostname e port:

      • INSERT INTO mysql_servers(hostgroup_id, hostname, port) VALUES (1, '127.0.0.1', 3306);

      Para aplicar as alterações, execute LOAD e SAVE novamente:

      • LOAD MYSQL SERVERS TO RUNTIME;

      • SAVE MYSQL SERVERS TO DISK;

      Por fim, você dirá ao ProxySQL qual usuário se conectará ao servidor de back-end; defina o sammy como o usuário e substitua sammy_password pela senha que criou anteriormente:

      • INSERT INTO mysql_users(username, password, default_hostgroup) VALUES ('sammy', 'sammy_password', 1);

      A tabela mysql_users contém informações sobre os usuários usados para se conectar aos servidores de back-end; você especificou o username (nome de usuário), password (senha) e default_hostgroup (grupo de host padrão).

      LOAD e SAVE as alterações:

      • LOAD MYSQL USERS TO RUNTIME;

      • SAVE MYSQL USERS TO DISK;

      Então, saia do shell do mysql:

      Para testar se você consegue se conectar ao seu servidor de back-end usando o ProxySQL, execute a seguinte consulta teste:

      • mysql -usammy -h127.0.0.1 -p -P6033 -e "SELECT @@HOSTNAME as hostname"

      Nesse comando, você usou o sinalizador -e para executar uma consulta e fechar a conexão. A consulta imprime o nome do host do servidor de back-end.

      Nota: por padrão, o ProxySQL usa a porta 6033 para escutar as conexões de entrada.

      O resultado ficará parecido com este, sendo o your_hostname substituído pelo seu nome de host:

      Output
      +----------------------------+
| hostname                   |
+----------------------------+
| your_hostname        |
+----------------------------+

      Para aprender mais sobre a configuração do ProxySQL, consulte o Passo 3 sobre Como usar o ProxySQL como um balanceador de carga para o MySQL no Ubuntu 16.04.

      Até aqui, você configurou o ProxySQL para usar seu servidor MySQL como um back-end e se conectou ao back-end usando o ProxySQL. Agora,você está pronto para usar o mysqlslap para comparar o desempenho das consultas sem cache.

      Passo 3 — Testando o uso do mysqlslap sem o cache

      Neste passo, você fará download de um banco de dados de teste para que possa executar consultas nele com o mysqlslap, no intuito de testar a latência sem o armazenamento em cache, definindo um parâmetro de comparação para a velocidade das suas consultas. Você também irá explorar como o ProxySQL mantém os registros das consultas na tabela stats_mysql_query_digest.

      O mysqlslap é um cliente de emulação de carga que é usado como uma ferramenta de teste de carga para o MySQL. Ele pode testar um servidor MySQL com consultas geradas automaticamente ou com algumas consultas personalizadas, executadas em um banco de dados. Ele vem instalado no pacote do cliente MySQL, de modo que não é necessário instalá-lo; em vez disso, você irá baixar um banco de dados apenas para fins de teste, no qual você poderá usar o mysqlslap.

      Neste tutorial, você usará uma amostra de banco de dados de funcionários. Você vai usar essa amostra de banco de dados de funcionários porque ela apresenta um conjunto grande de dados que pode ilustrar as diferenças na otimização das consultas. O banco de dados tem seis tabelas, mas os dados que ele contém têm mais de 300.000 registros de funcionários. Isso ajudará você a emular uma carga de trabalho de produção em grande escala.

      Para baixar o banco de dados, clone primeiro o repositório do Github usando este comando:

      • git clone https://github.com/datacharmer/test_db.git

      Em seguida, acesse o diretório test_db e carregue o banco de dados no servidor MySQL usando estes comandos:

      • cd test_db

      • mysql -uroot -p < employees.sql

      Esse comando usa o redirecionamento da shell para ler as consultas em SQL no arquivo employees.sql e as executa no servidor MySQL para criar a estrutura do banco de dados.

      Você verá um resultado como este:

      Output
      INFO
CREATING DATABASE STRUCTURE
INFO
storage engine: InnoDB
INFO
LOADING departments
INFO
LOADING employees
INFO
LOADING dept_emp
INFO
LOADING dept_manager
INFO
LOADING titles
INFO
LOADING salaries
data_load_time_diff
00:00:32

      Assim que o banco de dados for carregado no seu servidor MySQL, teste se o mysqlslap está funcionando com a seguinte consulta:

      • mysqlslap -usammy -p -P6033 -h127.0.0.1  --auto-generate-sql --verbose

      O mysqlslap tem sinalizadores semelhantes aos do cliente mysql; aqui estão os usados neste comando:

      • -u – especifica o usuário usado para se conectar ao servidor.
      • -p – solicita a senha do usuário.
      • -P – conecta-se usando a porta especificada.
      • -h – conecta-se ao host especificado.
      • --auto-generate-sql – permite que o MySQL faça testes de carga, usando suas próprias consultas geradas.
      • --verbose – faz o resultado mostrar mais informações.

      Você irá obter um resultado similar ao seguinte:

      Output
      Benchmark
    Average number of seconds to run all queries: 0.015 seconds
    Minimum number of seconds to run all queries: 0.015 seconds
    Maximum number of seconds to run all queries: 0.015 seconds
    Number of clients running queries: 1
    Average number of queries per client: 0

      Nesse resultado, você pode ver o número médio, mínimo e máximo de segundos gastos para executar todas as consultas. Isso lhe dará uma ideia sobre o tempo necessário para executar as consultas feitas por um certo número de clientes. Nesse resultado, apenas um cliente foi usado para executar consultas.

      Em seguida, descubra quais consultas o mysqlslap executou no último comando, examinando o stats_mysql_query_digest do ProxySQL. Isso nos dará informações como o resumo das consultas, que é uma forma normalizada da instrução em SQL que poderá ser referenciada mais tarde para habilitar o armazenamento em cache.

      Acesse a interface de administração do ProxySQL com este comando:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      Depois, execute esta consulta para encontrar informações na tabela stats_mysql_query_digest:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Você verá um resultado similar ao seguinte:

      +------------+----------+-----------+--------------------+----------------------------------+
| count_star | sum_time | hostgroup | digest             | digest_text                      |
+------------+----------+-----------+--------------------+----------------------------------+
| 1          | 598      | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname    |
| 1          | 0        | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ? |
+------------+----------+-----------+--------------------+----------------------------------+
2 rows in set (0.01 sec)

      A consulta anterior seleciona os dados da tabela stats_mysql_query_digest, a qual contém informações sobre todas as consultas executadas no ProxySQL. Aqui, você tem cinco colunas selecionadas:

      • count_star: o número de vezes que essa consulta foi executada.
      • sum_time: tempo total em milissegundos que essa consulta levou para executar.
      • hostgroup: o grupo de hosts usado para executar a consulta.
      • digest: um resumo da consulta executada.
      • digest_text: a consulta em si. No exemplo deste tutorial, a segunda consulta é parametrizada usando sinais de ? no lugar de parâmetros de variável. select @@version_comment limit 1 e select @@version_comment limit 2 são, portanto, agrupados juntos como a mesma consulta e com o mesmo resumo.

      Agora que você sabe como verificar os dados de consulta na tabela stats_mysql_query_digest, saia do shell do mysql:

      O banco de dados que baixou contém algumas tabelas com dados de demonstração. Agora, você testará consultas na tabela dept_emp, selecionando quaisquer registros cujo from_date formaior que 2000-04-20 e registrando o tempo médio de execução.

      Use este comando para executar o teste:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Aqui, você está usando alguns sinalizadores novos:

      • --concurrency=100: define o número de usuários a simular, neste caso 100.
      • --iterations=20: faz com que o teste seja executado 20 vezes e calcula os resultados de todos elas.
      • --create-schema=employees: aqui você selecionou o banco de dados employees (funcionários).
      • --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'": aqui você especificou a consulta executada no teste.

      O teste levará alguns minutos. Após terminar, você receberá resultados semelhantes ao seguinte:

      Output
      Benchmark
        Average number of seconds to run all queries: 18.117 seconds
        Minimum number of seconds to run all queries: 8.726 seconds
        Maximum number of seconds to run all queries: 22.697 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Seus números podem ser um pouco diferentes. Mantenha esses números em algum lugar para compará-los com os resultados obtidos após habilitar o armazenamento em cache.

      Após testar o ProxySQL sem armazenar em cache, é hora de executar o mesmo teste novamente; mas, desta vez, com o armazenamento em cache habilitado.

      Neste passo, o armazenamento em cache nos ajudará a diminuir a latência ao executar consultas semelhantes. Aqui, você identificará as consultas executadas, pegará seus resumos da tabela stats_mysql_query_digest do ProxySQL e os usará para habilitar o armazenamento em cache. Em seguida, você testará novamente para verificar a diferença.

      Para habilitar o armazenamento em cache, você precisa conhecer os resumos das consultas que serão armazenadas em cache. Faça login na interface de administração do ProxySQL, usando este comando:

      • mysql -uadmin -p -h127.0.0.1 -P6032

      Depois, execute esta consulta novamente para obter uma lista das consultas executadas e seus resumos:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Você receberá um resultado semelhante a este:

      Output
      +------------+-------------+-----------+--------------------+------------------------------------------+
| count_star | sum_time    | hostgroup | digest             | digest_text                              |
+------------+-------------+-----------+--------------------+------------------------------------------+
| 2000       | 33727110501 | 1         | 0xC5DDECD7E966A6C4 | SELECT * from dept_emp WHERE from_date>? |
| 1          | 601         | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname            |
| 1          | 0           | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ?         |
+------------+-------------+-----------+--------------------+------------------------------------------+
3 rows in set (0.00 sec)

      Examine a primeira linha. Trata-se de uma consulta que foi executada 2000 vezes. Essa é a consulta executada anteriormente como parâmetro de comparação. Pegue seu resumo e guarde-o para ser usado na adição de uma regra de consulta para o armazenamento em cache.

      As próximas consultas vão adicionar uma nova regra de consulta ao ProxySQL que fará a correspondência entre o resumo da consulta anterior e colocará um valor cache_ttl para ela. O cache_ttl é o número de milissegundos em que o resultado ficará armazenado em memória cache:

      • INSERT INTO mysql_query_rules(active, digest, cache_ttl, apply) VALUES(1,'0xC5DDECD7E966A6C4',2000,1);

      Nesse comando, você está adicionando um novo registro à tabela mysql_query_rules; essa tabela contém todas as regras aplicadas antes de executar uma consulta. Nesse exemplo, você está adicionando um valor à coluna cache_ttl, que fará com que a consulta – que foi combinada por determinado resumo – seja armazenada em cache pelo tempo (em milissegundos) especificado nessa coluna. Coloque 1 na coluna de aplicação para garantir que a regra seja aplicada às consultas.

      LOAD e SAVE essas alterações e, em seguida, saia do shell mysql:

      • LOAD MYSQL QUERY RULES TO RUNTIME;

      • SAVE MYSQL QUERY RULES TO DISK;

      • exit;

      Agora que o armazenamento em cache está habilitado, execute novamente o teste para verificar o resultado:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Isso dará um resultado similar ao seguinte:

      Output
      Benchmark
        Average number of seconds to run all queries: 7.020 seconds
        Minimum number of seconds to run all queries: 0.274 seconds
        Maximum number of seconds to run all queries: 23.014 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Aqui, você consegue ver a grande diferença em tempo médio de execução: o tempo baixou de 18.117 segundos para 7.020.

      Conclusão

      Neste artigo, você configurou o armazenamento em cache transparente com o ProxySQL para armazenar em cache os resultados das consultas no banco de dados. Também testou a velocidade de consulta com e sem o armazenamento em cache para ver a diferença que o armazenamento em cache pode fazer.

      Neste tutorial, você usou um nível de armazenamento em cache. Você também poderia tentar fazer o armazenamento em cache baseado na Web, o qual fica na frente de um servidor Web e armazena em cache as respostas a pedidos semelhantes, enviando a resposta de volta para o cliente, sem chegar aos servidores de back-end. É bem parecido com o armazenamento em cache do ProxySQL, porém em um outro nível. Para aprender mais sobre o armazenamento em cache baseado na Web, acesse o artigo Noções básicas de armazenamento em cache baseado na Web: terminologia, cabeçalhos de HTTP e primer de estratégias de armazenamento em cache.

      O servidor MySQL também tem seu próprio cache de consulta; você pode aprender mais sobre isso em nosso tutorial sobre Como otimizar o MySQL com o cache de consulta no Ubuntu 18.04.



      Source link

      Cómo optimizar las consultas de MySql con almacenamiento en caché de ProxySQL en Ubuntu 16.04


      El autor seleccionó la Free Software Foundation para recibir una donación como parte del programa Write for DOnations.

      Introducción

      ProxySQL es un servidor proxy con reconocimiento de SQL que puede posicionarse entre su aplicación y su base de datos. Ofrece muchas funciones, como el equilibrio de carga entre varios servidores MySQL y además sirve como capa de almacenamiento en caché para las consultas. Este tutorial se centrará en la función de almacenamiento en caché de ProxySQL, y en la forma en que puede optimizar las consultas de su base de datos MySQL.

      El almacenamiento en caché de MySQL se produce cuando el resultado de una consulta se almacena de modo que, cuando se repite la consulta, el resultado pueda mostrarse sin necesidad de realizar búsquedas en la base de datos. Esto puede aumentar considerablemente la velocidad de las consultas comunes. Sin embargo, en muchos métodos de almacenamiento en caché, los desarrolladores deben modificar el código de su aplicación, lo que podría introducir un error en la base de código. Para evitar esta práctica propensa a errores, ProxySQL le permite configurar un método de almacenamiento en caché transparente.

      En el almacenamiento en caché transparente, los administradores de la base de datos solo necesitan cambiar la configuración de ProxySQL para permitir el almacenamiento en caché de las consultas más comunes, y estos cambios pueden realizarse a través de la interfaz de administración de ProxySQL. Lo único que el desarrollador debe hacer es establecer conexión con el proxy que reconoce el protocolo. El proxy decidirá si la consulta puede presentarse desde la memoria caché sin alcanzar al servidor de backend.

      En este tutorial, usará ProxySQL para configurar un almacenamiento en caché transparente para un servidor MySQL en Ubuntu 16.04. A continuación, probará su rendimiento usando mysqlslap con y sin almacenamiento en caché para demostrar el efecto del almacenamiento en caché y la cantidad de tiempo que puede ahorrarse con él al ejecutar muchas consultas similares.

      Requisitos previos

      Para completar esta guía, necesitará lo siguiente:

      Paso 1: Instalar y configurar el servidor de MySQL

      Primero, instalará el servidor de MySQL y lo configurará para que lo use ProxySQL como servidor de backend para presentar consultas de clientes.

      En Ubuntu 16.04, puede instalar mysql-server usando este comando:

      • sudo apt-get install mysql-server

      Pulse Y para confirmar la instalación.

      Se solicitará su contraseña de usuario** root** de MySQL. Introduzca una contraseña segura y guárdela para su uso posterior.

      Ahora que tiene su servidor MySQL listo, lo configurará para que ProxySQL funcione correctamente. Debe añadir un usuario monitor para que ProxySQL monitorice el servidor de MySQL, ya que ProxySQL escucha al servidor de backend a través del protocolo SQL en vez de usar una conexión TCP o solicitudes HTTP GET para garantizar que el backend está en ejecución. El *usuario monitor *usará una conexión SQL ficticia para determinar si el servidor está activo o no.

      Primero, inicie sesión en el shell de MySQL:

      -uroot inicia sesión por usted usando el usuario root de MySQL y -p solicita la contraseña del usuario root. Este usuario root es diferente del usuario root de su servidor y la contraseña es la que introdujo cuando instaló el paquete mysql-server.

      Introduzca la contraseña root y pulse ENTER.

      Ahora, creará dos usuarios, uno llamado** monitor** para ProxySQL y otro que usará para ejecutar las consultas de los clientes y otorgarles los privilegios adecuados. En este tutorial, se asignará el nombre sammy a este usuario.

      Cree el usuario monitor:

      • CREATE USER 'monitor'@'%' IDENTIFIED BY 'monitor_password';

      La consulta CREATE USER se utiliza para crear un nuevo usuario que pueda conectarse desde IP específicas. Usar % denota que el usuario puede conectarse desde cualquier dirección IP. IDENTIFIED BY establece la contraseña para el nuevo usuario; introduzca la contraseña que desee, pero asegúrese de recordarla para usarla más adelante.

      Una vez creado el usuario monitor, cree el usuario sammy:

      • CREATE USER 'sammy'@'%' IDENTIFIED BY 'sammy_password';

      A continuación, conceda privilegios a sus nuevos usuarios. Ejecute el siguiente comando para configurar el usuario monitor:

      • GRANT SELECT ON sys.* TO 'monitor'@'%';

      La consulta GRANT se utiliza para dar privilegios a los usuarios. Aquí solo concedió SELECT en todas las tablas de la base de datos sys al usuario monitor; solo necesita este privilegio para escuchar al servidor de backend.

      Ahora, conceda todos los privilegios para todas las bases de datos al usuario sammy:

      • GRANT ALL PRIVILEGES on *.* TO 'sammy'@'%';

      Esto permitirá que sammy realice las consultas necesarias para probar su base de datos más tarde.

      Aplique los cambios de privilegios ejecutando lo siguiente:

      Finalmente, salga del shell mysql:

      Con esto, habrá instalado mysql-server y creado un usuario que ProxySQL utilizará para monitorizar su servidor de MySQL, y otro para ejecutar las consultas de clientes. A continuación, instalará y configurará ProxySQL.

      Paso 2: Instalar y configurar el servidor de ProxySQL

      Ahora podrá instalar el servidor de ProxySQL, que se utilizará como una capa de almacenamiento en caché para sus consultas. Una capa de almacenamiento en caché existe como punto de detención entre los servidores de su aplicación y los servidores de backend de la base de datos; se utiliza para conectar con la base de datos y para guardar los resultados de algunas consultas en su memoria para acceder a ellas más rápidamente.

      En la página de Github para versiones de ProxySQL se ofrecen archivos de instalación para distribuciones comunes de Linux. A los efectos de este tutorial, usará wget para descargar el archivo de instalación de Debian para la versión de ProxySQl 2.0.4:

      • wget https://github.com/sysown/proxysql/releases/download/v2.0.4/proxysql_2.0.4-ubuntu16_amd64.deb

      A continuación, instale el paquete usando dpkg:

      • sudo dpkg -i proxysql_2.0.4-ubuntu16_amd64.deb

      Una vez que lo haga, inicie ProxySQL con este comando:

      • sudo systemctl start proxysql

      Puede comprobar si ProxySQL se inició correctamente con este comando:

      • sudo systemctl status proxysql

      Verá un resultado similar a este:

      Output
      root@ubuntu-s-1vcpu-2gb-sgp1-01:~# systemctl status proxysql
● proxysql.service - LSB: High Performance Advanced Proxy for MySQL
   Loaded: loaded (/etc/init.d/proxysql; bad; vendor preset: enabled)
   Active: active (exited) since Wed 2019-06-12 21:32:50 UTC; 6 months 7 days ago
     Docs: man:systemd-sysv-generator(8)
    Tasks: 0
   Memory: 0B
      CPU: 0

      Ahora es el momento de conectar su servidor de ProxySQL con el servidor de MySQL. Para esto, utilice la interfaz de administración SQL de ProxySQl, que por defecto escucha el puerto 6032 en localhost y tiene admin como nombre de usuario y contraseña.

      Establezca conexión con la interfaz ejecutando lo siguiente:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      Introduzca admin cuando se le solicite la contraseña.

      -uadmin establece admin como nombre de usuario, y el indicador -h especifica que localhost es el host. El puerto es el 6032, especificado usando el indicador -P.

      Aquí, tuvo que especificar el host y el puerto de forma explícita porque, por defecto, el cliente MySQL se conecta usando un archivo de sockets local y el puerto 3306.

      Ahora que inició sesión en el shell de mysql como admin, configure el usuario monitor de modo que ProxySQL pueda usarlo. Primero, utilice consultas SQL estándares para establecer los valores de dos variables globales:

      • UPDATE global_variables SET variable_value='monitor' WHERE variable_name='mysql-monitor_username';

      • UPDATE global_variables SET variable_value='monitor_password' WHERE variable_name='mysql-monitor_password';

      La variable mysql-monitor_username especifica el nombre de usuario de MySQL que se utilizará para comprobar si el servidor de backend está activo o no. La variable mysql-monitor_password apunta a la contraseña que se usará cuando establece conexión con el servidor de backend. Utilice la contraseña que creó para el nombre de usuario monitor.

      Cada vez que realice un cambio en la interfaz de administración de ProxySQL, deberá usar el comando LOAD adecuado para aplicar los cambios a la instancia de ProxySQL en ejecución. Cambió las variables globales de MySQL. Por ello, cárguelas en RUNTIME para aplicar los cambios:

      • LOAD MYSQL VARIABLES TO RUNTIME;

      A continuación, aplique SAVE los cambios a la base de datos en el disco para que los cambios persistan entre reinicios. ProxySQL utiliza su propia base de datos local SQLite para guardar sus tablas y variables:

      • SAVE MYSQL VARIABLES TO DISK;

      Ahora, transmitirá información a ProxySQL sobre el servidor de backend. La tabla mysql_servers contiene información sobre cada servidor de backend en los cuales ProxySQL puede establecer conexión y ejecutar consultas. Por lo tanto, debe añadir un nuevo registro usando una instrucción INSERT de SQL con los siguientes valores para hostgroup_id, hostname y port:

      • INSERT INTO mysql_servers(hostgroup_id, hostname, port) VALUES (1, '127.0.0.1', 3306);

      Para aplicar los cambios, ejecute LOAD y SAVE de nuevo:

      • LOAD MYSQL SERVERS TO RUNTIME;

      • SAVE MYSQL SERVERS TO DISK;

      Finalmente, indicará a ProxySQL el usuario que se conectará con el servidor de backend; establezca sammy como el usuario y sustituya sammy_password por la contraseña que creó antes:

      • INSERT INTO mysql_users(username, password, default_hostgroup) VALUES ('sammy', 'sammy_password', 1);

      La tabla mysql_users contiene información sobre los usuarios empleados para establecer conexión con los servidores de backend; especificó username, password y default_hostgroup.

      Aplique LOAD y SAVE a los cambios:

      • LOAD MYSQL USERS TO RUNTIME;

      • SAVE MYSQL USERS TO DISK;

      Finalmente, cierre el shell mysql:

      Para probar que pueda establecer conexión con su servidor de backend usando ProxySQL, ejecute la siguiente consulta de prueba:

      • mysql -usammy -h127.0.0.1 -p -P6033 -e "SELECT @@HOSTNAME as hostname"

      En este comando, usó el indicador -e para ejecutar una consulta y cerrar la conexión. La consulta imprime el nombre de host del servidor de backend.

      Nota: ProxySQL utiliza el puerto 6033 por defeto para escuchar las conexiones entrantes.

      El resultado tendrá este aspecto y your_hostname se sustituirá por su nombre de host:

      Output
      +----------------------------+
| hostname                   |
+----------------------------+
| your_hostname        |
+----------------------------+

      Para obtener más información sobre la configuración de ProxySQL, consulte el paso 3 de Cómo usar ProxySQL como equilibrador de carga para MySQL en Ubuntu 16.04.

      Hasta ahora, configuró ProxySQL para que utilice su servidor de MySQL como backend y estableció conexión con el este último usando ProxySQL. Ahora, estará listo para usar mysqlslap para hacer referencia al rendimiento de la consulta sin almacenamiento en caché.

      Paso 3: Probar mysqlslap sin almacenamiento en caché

      En este paso, descargará una base de datos de prueba para poder ejecutar consultas en ella con mysqlslap para probar la latencia sin almacenamiento en caché, estableciendo una referencia para la velocidad de sus consultas. También verá la forma en que ProxySQL lleva registros de las consultas en la tabla stats_mysql_query_digest.

      mysqlslap es un cliente de emulación de carga que se usa como herramienta de prueba de carga para MySQL. Puede probar un servidor MySQL con consultas autogeneradas o con algunas consultas personalizadas ejecutadas en una base de datos. Viene instalado con el paquete cliente de MySQL, de modo que no necesita instalarlo. En vez de eso, descargará una base de datos solo para pruebas en la cual puede usar mysqlslap.

      En este tutorial, usará una base de datos de empleados de muestra. Usará esta base de datos de empleados porque cuenta con un gran conjunto de datos que puede ilustrar las diferencias en la optimización de consultas. La base de datos tiene seis tablas, pero los datos que contiene tienen más de 300.000 registros de empleados. Esto le permitirá emular una carga de trabajo de producción a gran escala.

      Para descargar la base de datos, primero clone el repositorio de Github usando este comando:

      • git clone https://github.com/datacharmer/test_db.git

      A continuación, introduzca el directorio test_db y cargue la base de datos en el servidor MySQL usando estos comandos:

      • cd test_db

      • mysql -uroot -p < employees.sql

      Este comando utiliza redireccionamiento de shell para leer las consultas SQL en el archivo employees.sql y las ejecuta en el servidor MySQL para crear la estructura de la base de datos.

      Verá un resultado similar a este:

      Output
      INFO
CREATING DATABASE STRUCTURE
INFO
storage engine: InnoDB
INFO
LOADING departments
INFO
LOADING employees
INFO
LOADING dept_emp
INFO
LOADING dept_manager
INFO
LOADING titles
INFO
LOADING salaries
data_load_time_diff
00:00:32

      Una vez que la base de datos se cargue en su servidor MySQL, pruebe que mysqlslap funcione con la siguiente consulta:

      • mysqlslap -usammy -p -P6033 -h127.0.0.1  --auto-generate-sql --verbose

      mysqlslap tiene indicadores similares a los del cliente mysql; aquí están los que se utilizan en este comando:

      • -u especifica el usuario usado para establecer conexión con el servidor.
      • -p pide la contraseña del usuario.
      • -P establece conexión usando el puerto especificado.
      • -h establece conexión con el host especificado.
      • --auto-generate-sql permite que MySQL realice una prueba de carga usando sus propias consultas generadas.
      • --verbose hace que en el resultado se muestre más información.

      Obtendrá un resultado similar al siguiente:

      Output
      Benchmark
    Average number of seconds to run all queries: 0.015 seconds
    Minimum number of seconds to run all queries: 0.015 seconds
    Maximum number of seconds to run all queries: 0.015 seconds
    Number of clients running queries: 1
    Average number of queries per client: 0

      En este resultado, puede ver los números de segundos promedio, mínimo y máximo utilizados para ejecutar todas las consultas. Esto le proporciona una indicación sobre la cantidad de tiempo necesario para ejecutar las consultas por un número de clientes. En este resultado, solo se utilizó un cliente para ejecutar las consultas.

      A continuación, descubra las consultas que mysqlslap ejecutó en el último comando mirando stats_mysql_query_digest de ProxySQL. Esto nos dará información, como el* resumen* de las consultas, que es una forma normalizada de la instrucción de SQL a la que se puede hacer referenciad más tarde para habilitar el almacenamiento en caché.

      Ingrese en la interfaz de administración de ProxySQL con este comando:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      A continuación, ejecute esta consulta para buscar la información en la tabla stats_mysql_query_digest:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Verá resultados similares al siguiente:

      +------------+----------+-----------+--------------------+----------------------------------+
| count_star | sum_time | hostgroup | digest             | digest_text                      |
+------------+----------+-----------+--------------------+----------------------------------+
| 1          | 598      | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname    |
| 1          | 0        | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ? |
+------------+----------+-----------+--------------------+----------------------------------+
2 rows in set (0.01 sec)

      Con la consulta previa se seleccionan datos de la tabla stats_mysql_query_digest, que contiene información sobre todas las consultas ejecutadas en ProxySQL. A continuación, se muestran cinco columnas seleccionadas:

      • count_star: número de veces que se ejecutó esta consulta.
      • sum_time: tiempo total en milisegundos que tardó esta consulta en ejecutarse.
      • hotsgroup: hostgroup usado para ejecutar la consulta.
      • digest: resumen de la consulta ejecutada.
      • digest_text: la consulta real. En este ejemplo del tutorial, la segunda consulta se parametriza usando signos ? en lugar de parámetros variables. select @@version_comment limit 1 y select @@version_comment limit 2, por lo tanto, se agrupan como la misma consulta con el mismo resumen.

      Ahora que sabe comprobar los datos de la consulta en la tabla stats_mysql_query_digest, cierre el shell de mysql:

      La base de datos que descargó contiene algunas tablas con datos de demostración. Ahora, probará las consultas en la tabla dept_emp seleccionando cualquier registro cuya from_date sea mayor que 2000-04-20 y registrando el tiempo medio de ejecución.

      Utilice este comando para ejecutar la prueba:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Aquí usa algunos indicadores nuevos:

      • --concurrency=100: esto establece el número de usuarios que se simulará; en este caso, 100.
      • --iterations=20: esto hace que la prueba se ejecute 20 veces y calcule los resultados de todas ellas.
      • --create-schema=employees: aquí seleccionó la base de datos employees.
      • --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'": aquí especificó la consulta ejecutada en la prueba.

      La prueba tardará unos minutos. Una vez que esta se realice, obtendrá resultados similares a los siguientes:

      Output
      Benchmark
        Average number of seconds to run all queries: 18.117 seconds
        Minimum number of seconds to run all queries: 8.726 seconds
        Maximum number of seconds to run all queries: 22.697 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Sus números podrían ser un poco diferentes. Mantenga estos números en algún lugar para compararlos con los resultados obtenidos tras habilitar el almacenamiento en caché.

      Una vez que pruebe ProxySQL sin almacenamiento en caché, será el momento de ejecutar la misma prueba de nuevo, pero esta vez con el almacenamiento en caché habilitado.

      Paso 4: Probar mysqlslap con almacenamiento en caché

      En este paso, el almacenamiento en caché nos ayudará a disminuir la latencia al ejecutar consultas similares. Aquí identificará las consultas ejecutadas, obtendrá sus resúmenes desde la tabla stats:mysql_query_digest de ProxySQL y los usará para habilitar el almacenamiento en caché. A continuación, hará otra prueba para comprobar la diferencia.

      Para habilitar el almacenamiento en caché, deberá conocer los resúmenes de las consultas que se almacenarán en caché. Inicie sesión en la interfaz de administración de ProxySQL usando este comando:

      • mysql -uadmin -p -h127.0.0.1 -P6032

      A continuación, ejecute esta consulta de nuevo para obtener una lista de las consultas ejecutadas y sus resúmenes:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Verá un resultado similar a este:

      Output
      +------------+-------------+-----------+--------------------+------------------------------------------+
| count_star | sum_time    | hostgroup | digest             | digest_text                              |
+------------+-------------+-----------+--------------------+------------------------------------------+
| 2000       | 33727110501 | 1         | 0xC5DDECD7E966A6C4 | SELECT * from dept_emp WHERE from_date>? |
| 1          | 601         | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname            |
| 1          | 0           | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ?         |
+------------+-------------+-----------+--------------------+------------------------------------------+
3 rows in set (0.00 sec)

      Observe la primera fila. Se relaciona con una consulta que se ejecutó 2000 veces. Esta es la consulta que se ejecutó previamente y a la que se hizo referencia. Tome su resumen y guárdelo para usarlo a la hora de añadir una regla de consulta para el almacenamiento en caché.

      Con las siguientes consultas se añadirá una nueva regla de consulta a ProxySQL que coincidirá con el resumen de la consulta anterior y pondrá un valor cache_ttl para ella. cache_ttl es el número de milisegundos durante los cuales el resultado está almacenado en la memoria caché:

      • INSERT INTO mysql_query_rules(active, digest, cache_ttl, apply) VALUES(1,'0xC5DDECD7E966A6C4',2000,1);

      En este comando, añade un nuevo registro a la tabla mysql_query_rules; esta tabla contiene todas las reglas aplicadas antes de ejecutar una consulta. En este ejemplo, agrega un valor para la columna cache_ttl que hará que la consulta conciliada debido al resumen dado se almacene en caché durante un número de milisegundos especificado en esta columna. Usted dispone 1 en la columna apply para garantizar que la regla se aplique a las consultas.

      Aplique LOAD y SAVE a estos cambios, y luego cierre el shell de mysql:

      • LOAD MYSQL QUERY RULES TO RUNTIME;

      • SAVE MYSQL QUERY RULES TO DISK;

      • exit;

      Ahora que el almacenamiento en caché está habilitado, vuelva a ejecutar la prueba de nuevo para comprobar el resultado:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Con esto, se mostrará un resultado similar al siguiente:

      Output
      Benchmark
        Average number of seconds to run all queries: 7.020 seconds
        Minimum number of seconds to run all queries: 0.274 seconds
        Maximum number of seconds to run all queries: 23.014 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Aquí puede ver la gran diferencia en el tiempo de ejecución promedio: se redujo de 18.117 a 7.020 segundos.

      Conclusión

      A través de este artículo, configuró un almacenamiento en caché transparente con ProxySQL para almacenar en caché resultados de consultas a la base de datos. También probó la velocidad de las consultas con y sin almacenamiento en caché para ver la diferencia que este puede suponer.

      Durante este tutorial, usó un nivel de almacenamiento en caché. También podría probar el almacenamiento en caché web, que se dispone delante de un servidor web, almacena las respuestas a solicitudes similares y envía la respuesta de vuelta al cliente sin llegar a los servidores de backend. Esto es muy similar al almacenamiento en caché de ProxySQL, pero a un nivel diferente. Para obtener más información sobre el almacenamiento en caché, consulte nuestro artículo introductorio Principios básicos del almacenamiento en caché web: terminología, encabezados HTTP y estrategias de almacenamiento en caché.

      El servidor MySQL también tiene su propia memoria caché de consultas; puede obtener más información sobre ella en el tutorial Cómo optimizar MySQL con memoria caché de consultas en Ubuntu 18.04.



      Source link

      Оптимизация запросов MySQL с помощью кеширования ProxySQL в Ubuntu 16.04


      Автор выбрал фонд Free Software Foundation для получения пожертвования в рамках программы Write for DOnations.

      Введение

      ProxySQL — это прокси-сервер SQL, который можно располагать между вашим приложением и базой данных. Он имеет множество функций, в том числе распределение нагрузки между несколькими серверами MySQL, и может выступать в качестве слоя кеширования для запросов. В этом обучающем руководстве основное внимание будет уделено функции кеширования ProxySQL и тому, как с ее помощью вы можете оптимизировать запросы для вашей базы данных MySQL.

      Кеширование MySQL выполняется в случае хранения результата запроса таким образом, чтобы при повторном запросе результат возвращался без необходимости обращения к базе данных. Это позволяет значительно ускорить выполнение общих запросов. Но во многих методах кеширования разработчикам приходится изменять код своего приложения, что может вызвать появление бага в базе кода. Чтобы не допустить такой практики, способствующей появлению ошибок, ProxySQL позволяет настроить прозрачное кеширование.

      При прозрачном кешировании только администраторы базы данных должны вносить изменения в конфигурацию ProxySQL для кеширования самых распространенных запросов, а все эти изменения производятся в интерфейсе администратора ProxySQL. Разработчику нужно только подключиться к поддерживающему протокол прокси-серверу, а прокси самостоятельно решает, может ли запрос обслуживаться из кеша без обращения к серверу бэкэнда.

      В этом обучающем руководстве мы будем использовать ProxySQL для настройки прозрачного кеширования для сервера MySQL в Ubuntu 16.04. Затем вы протестируете его производительность с помощью mysqlslap с кешированием и без него, чтобы продемонстрировать эффект кеширования и то, сколько времени с его помощью можно будет сэкономить при выполнении множества аналогичных запросов.

      Предварительные требования

      Для прохождения этого обучающего руководства вам потребуется следующее:

      Шаг 1 — Установка и настройка сервера MySQL

      Сначала мы установим сервер MySQL и настроим его для использования с ProxySQL в качестве сервера бэкэнда для обслуживания запросов клиентов.

      В Ubuntu 16.04 mysql-server можно установить с помощью этой команды:

      • sudo apt-get install mysql-server

      Нажмите Y для подтверждения установки.

      Затем вам будет предложено ввести пароль root пользователя MySQL. Введите надежный пароль и сохраните его для последующего использования.

      Теперь, когда у вас есть готовый сервер MySQL, необходимо настроить его для корректной работы с ProxySQL. Вам нужно добавить пользователя monitor для ProxySQL для мониторинга сервера MySQL, поскольку ProxySQL прослушивает сервер бэкэнда с помощью протокола SQL, не используя соединение TCP или запросы HTTP GET, чтобы убедиться, что сервер работает. monitor будет использовать пустое соединение SQL для определения того, запущен сервер или нет.

      Выполните вход в командную строку MySQL:

      -uroot позволяет выполнить вход, используя root пользователя MySQL, а -p запрашивает пароль пользователя root. Этот пользователь root отличается от пользователя root сервера, а пароль — это пароль, который вы вводили при установке пакета mysql-server.

      Введите пароль root и нажмите ENTER.

      Теперь мы создадим двух пользователей, первого с именем monitor для ProxySQL, а второго для использования при выполнении клиентских запросов и предоставления им нужных привилегий. В этом обучающем руководстве мы будем использовать пользователя с именем sammy.

      Создайте пользователя monitor:

      • CREATE USER 'monitor'@'%' IDENTIFIED BY 'monitor_password';

      Запрос CREATE USER используется для создания нового пользователя, который может подключаться с конкретных IP-адресов. Использование % означает, что пользователь может подключаться с любого IP-адреса. IDENTIFIED BY устанавливает пароль для нового пользователя, введите любой пароль, но обязательно запомните его для последующего использования.

      После создания пользователя monitor создайте пользователя sammy:

      • CREATE USER 'sammy'@'%' IDENTIFIED BY 'sammy_password';

      Затем предоставьте привилегии вашим новым пользователям. Запустите следующую команду для настройки monitor:

      • GRANT SELECT ON sys.* TO 'monitor'@'%';

      Запрос GRANT используется для предоставления привилегий пользователям. Здесь мы предоставили только SELECT для всех таблиц в базе данных sys пользователю monitor, ему нужна только эта привилегия для прослушивания сервера бэкэнда.

      Теперь мы предоставим все права доступа для всех баз данных пользователю sammy:

      • GRANT ALL PRIVILEGES on *.* TO 'sammy'@'%';

      Это позволяет sammy выполнять необходимые запросы для теста вашей базы данных позже.

      Примените изменения привилегий, выполнив следующую команду:

      После этого выйдите из командной строки mysql:

      Вы установили mysql-server и создали пользователя для ProxySQL для мониторинга сервера MySQL и еще одного пользователя для выполнения клиентских запросов. Далее мы установим и настроим ProxySQL.

      Шаг 2 — Установка и настройка сервера ProxySQL

      Теперь мы можем установить сервер ProxySQL, который будет использоваться в качестве слоя кеширования для ваших запросов. Слой кеширования представляет собой точку остановки между серверами вашего приложения и серверами бэкэнда базы данных; он используется для подключения к базе данных и сохранения результатов некоторых запросов в памяти для быстрого доступа.

      На странице релизов ProxySQL на GitHub вы найдете файлы установки для стандартных дистрибутивов Linux. Для этого обучающего руководства мы будем использовать wget для загрузки файла установки ProxySQL версии 2.0.4 Debian:

      • wget https://github.com/sysown/proxysql/releases/download/v2.0.4/proxysql_2.0.4-ubuntu16_amd64.deb

      Затем установите пакет с помощью dpkg:

      • sudo dpkg -i proxysql_2.0.4-ubuntu16_amd64.deb

      После установки запустите ProxySQL с помощью этой команды:

      • sudo systemctl start proxysql

      Вы можете проверить, выполнен ли запуск ProxySQL корректно, с помощью этой команды:

      • sudo systemctl status proxysql

      Результат должен выглядеть примерно так:

      Output
      root@ubuntu-s-1vcpu-2gb-sgp1-01:~# systemctl status proxysql
● proxysql.service - LSB: High Performance Advanced Proxy for MySQL
   Loaded: loaded (/etc/init.d/proxysql; bad; vendor preset: enabled)
   Active: active (exited) since Wed 2019-06-12 21:32:50 UTC; 6 months 7 days ago
     Docs: man:systemd-sysv-generator(8)
    Tasks: 0
   Memory: 0B
      CPU: 0

      Теперь пришло время подключить ваш сервер ProxySQL к серверу MySQL. Для этой цели воспользуйтесь интерфейсом ProxySQL для администратора SQL, который по умолчанию слушает порт 6032 на localhost и использует admin в качестве имени пользователя и пароля.

      Установите подключение к интерфейсу с помощью следующей команды:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      Введите admin при запросе пароля.

      -uadmin задает значение admin для имени пользователя, а флаг -h указывает в качестве хоста localhost. Используется порт 6032, заданный с помощью флага -P.

      Здесь вам нужно явно задать хост и порт, поскольку по умолчанию клиент MySQL подключается с помощью файла локальных сокетов и порта 3306.

      Теперь, когда вы выполнили вход в командную строку mysql как admin, настройте пользователя monitor, чтобы ProxySQL мог его использовать. Для начала применим стандартные запросы SQL для установки значений двух глобальных переменных:

      • UPDATE global_variables SET variable_value='monitor' WHERE variable_name='mysql-monitor_username';

      • UPDATE global_variables SET variable_value='monitor_password' WHERE variable_name='mysql-monitor_password';

      Переменная mysql-monitor_username указывает имя пользователя MySQL, который будет использоваться для проверки того, запущен ли сервер бэкэнда. Переменная mysql-monitor_password указывает на пароль, который будет использоваться при подключении к серверу бэкэнда. Используйте пароль, созданный для пользователя monitor.

      Каждый раз, когда вы вносите изменение в интерфейсе администратора ProxySQL, вам нужно использовать команду LOAD для применения изменений для запущенного экземпляра ProxySQL. Вы изменили глобальные переменные MySQL, а для применения изменений нужно загрузить их в RUNTIME:

      • LOAD MYSQL VARIABLES TO RUNTIME;

      Затем с помощью SAVE сохраните изменения в базе данных на диске для сохранения изменений в случае перезапуска. ProxySQL использует собственную локальную базу данных SQLite для хранения собственных таблиц и переменных:

      • SAVE MYSQL VARIABLES TO DISK;

      Теперь мы сообщим ProxySQL о сервере бэкэнда. Таблица mysql_servers содержит информацию о каждом сервере бэкэнда, к которому ProxySQL может подключаться и выполнять запросы, поэтому добавьте новую запись с помощью стандартного SQL-оператора INSERT со следующими значениями для hostgroup_id, hostname и port:

      • INSERT INTO mysql_servers(hostgroup_id, hostname, port) VALUES (1, '127.0.0.1', 3306);

      Чтобы применить изменения, запустите LOAD и SAVE еще раз:

      • LOAD MYSQL SERVERS TO RUNTIME;

      • SAVE MYSQL SERVERS TO DISK;

      После этого мы укажем ProxySQL, какой пользователь будет подключаться к серверу бэкэнда; задайте sammy в качестве пользователя и замените sammy_password на созданный вами пароль:

      • INSERT INTO mysql_users(username, password, default_hostgroup) VALUES ('sammy', 'sammy_password', 1);

      Таблица mysql_users содержит информацию о пользователях, используемых для подключения к серверам бэкэнда; вы задали username, password и default_hostgroup.

      Воспользуйтесь командами LOAD и SAVE:

      • LOAD MYSQL USERS TO RUNTIME;

      • SAVE MYSQL USERS TO DISK;

      Затем выйдите из командной строки mysql:

      Чтобы убедиться, что вы можете подключиться к серверу бэкэнда с помощью ProxySQL, выполните следующий тестовый запрос:

      • mysql -usammy -h127.0.0.1 -p -P6033 -e "SELECT @@HOSTNAME as hostname"

      В этой команде мы используем флаг -e для выполнения запроса и закрытия подключения. Запрос выводит имя хоста сервера бэкэнда.

      Примечание. ProxySQL использует порт 6033 по умолчанию для прослушивания входящих соединений.

      Вывод будет выглядеть следующим образом, а вместо your_hostname будет использоваться ваше имя хоста:

      Output
      +----------------------------+
| hostname                   |
+----------------------------+
| your_hostname        |
+----------------------------+

      Дополнительную информацию о конфигурации ProxySQL можно найти в шаге 3 руководства по использованию ProxySQL в качестве инструмента распределения нагрузки для MySQL в Ubuntu 16.04.

      Ранее мы настроили ProxySQL для использования сервера MySQL в качестве сервера бэкэнда и подключения к нему с помощью ProxySQL. Теперь мы готовы к использованию mysqlslap для оценки производительности запроса без кеширования.

      Шаг 3 — Тестирование с помощью mysqlslap без кеширования

      На этом шаге вы загрузите тестовую базу данных для выполнения запросов с помощью mysqlslap для проверки задержки без кеширования и определения скорости выполнения ваших запросов. Также вы узнаете, как ProxySQL хранит записи запросов в таблице stats_mysql_query_digest.

      mysqlslap — это клиент эмуляции нагрузки, который используется в качестве инструмента тестирования нагрузки для MySQL. Он позволяет протестировать сервер MySQL с помощью автоматически генерируемых запросов или пользовательских запросов для базы данных. Он входит в состав пакета клиента MySQL, поэтому вам не нужно устанавливать его, а для теста вам потребуется загрузить базу данных, с которой вы можете использовать mysqlslap.

      В этом обучающем руководстве мы будем использовать пример базы данных сотрудников. Вы будете использовать эту базу данных, поскольку она содержит большой набор данных, который может проиллюстрировать различия в оптимизации запросов. База данных содержит шесть таблиц, но во всех таблицах содержится более 300 000 записей о сотрудниках. Это поможет нам сымитировать большую рабочую нагрузку.

      Чтобы загрузить базу данных, выполните клонирование репозитория Github с помощью этой команды:

      • git clone https://github.com/datacharmer/test_db.git

      Затем откройте директорию test_db и загрузите базу данных на сервер MySQL с помощью этих команд:

      • cd test_db

      • mysql -uroot -p < employees.sql

      Эта команда использует перенаправление командной строки для считывания запросов SQL в файле employees.sql и выполнения их на сервере MySQL для создания структуры базы данных.

      Результат должен выглядеть следующим образом:

      Output
      INFO
CREATING DATABASE STRUCTURE
INFO
storage engine: InnoDB
INFO
LOADING departments
INFO
LOADING employees
INFO
LOADING dept_emp
INFO
LOADING dept_manager
INFO
LOADING titles
INFO
LOADING salaries
data_load_time_diff
00:00:32

      После загрузки базы данных на ваш сервер MySQL убедитесь, что mysqlslap работает, выполнив следующий запрос:

      • mysqlslap -usammy -p -P6033 -h127.0.0.1  --auto-generate-sql --verbose

      mysqlslap имеет аналогичные флаги для клиента mysql; в этой команде используются следующие флаги:

      • -u указывает пользователя, который будет подключаться к серверу.
      • -p запрашивает пароль пользователя.
      • -P выполняет подключение с помощью заданного порта.
      • -h подключается к заданному хосту.
      • --auto-generate-sql позволяет MySQL выполнять тестирование загрузки с помощью генерируемых самостоятельно запросов.
      • --verbose делает вывод более информативным.

      Результат должен выглядеть примерно следующим образом:

      Output
      Benchmark
    Average number of seconds to run all queries: 0.015 seconds
    Minimum number of seconds to run all queries: 0.015 seconds
    Maximum number of seconds to run all queries: 0.015 seconds
    Number of clients running queries: 1
    Average number of queries per client: 0

      В этом выводе вы видите среднее, минимальное и максимальное количество секунд, потраченных на выполнение всех запросов. Это позволяет судить о количестве времени, необходимом для выполнения запросов согласно количеству клиентов. В этом выводе только один клиент используется для выполнения запросов.

      Затем необходимо выяснить, какие запросы mysqlslap выполнил в последней команде, изучив stats_mysql_query_digest в ProxySQL. Это позволит нам получить digest для запросов, представляющий собой нормализованную форму SQL-оператора, на которую можно будет ссылаться позднее для кеширования.

      Выполните вход в интерфейс администратора ProxySQL с помощью этой команды:

      • mysql -uadmin -p -h 127.0.0.1 -P6032

      Затем выполните этот запрос для получения информации в таблице stats_mysql_query_digest:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Вы увидите примерно следующий результат:

      +------------+----------+-----------+--------------------+----------------------------------+
| count_star | sum_time | hostgroup | digest             | digest_text                      |
+------------+----------+-----------+--------------------+----------------------------------+
| 1          | 598      | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname    |
| 1          | 0        | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ? |
+------------+----------+-----------+--------------------+----------------------------------+
2 rows in set (0.01 sec)

      Предыдущий запрос производит выборку данных из таблицы stats_mysql_query_digest, которая содержит информацию обо всех выполненных запросах в ProxySQL. Здесь у вас выбрано пять столбцов:

      • count_star: количество времени, затраченное на выполнение запроса.
      • sum_time: общее время в миллисекундах, которое требуется для выполнения этого запроса.
      • hostgroup: группа хостов, которая использовалась для выполнения запроса.
      • digest: дайджест выполненного запроса.
      • digest_text: фактический запрос. В нашем примере второй запрос параметризирован с помощью символов ?, используемых на месте переменных. select @@version_comment limit 1 и select @@version_comment limit 2, следовательно, группируются вместе как один запрос с одинаковым дайджестом.

      Теперь, когда мы знаем, как проверить данные запроса в таблице stats_mysql_query_digest, закройте командную строку mysql:

      Загружаемая база данных содержит несколько таблиц с демонстрационными данными. Теперь мы проверим запросы в таблице dept_emp, используя любые записи, для которых значение from_date больше 2000-04-20, и регистрируя среднее время исполнения.

      Используйте эту команду для запуска теста:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Здесь мы используем следующие новые флаги:

      • --concurrency=100: задает число пользователей для симуляции, в данном случае 100.
      • --iterations=20: выполняет запуск теста 20 раз и вычисляет результаты для всех итераций.
      • --create-schema=employees: указывает в качестве базы данных employees.
      • --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'": указывает запрос, выполняемый во время теста.

      Выполнение теста займет несколько минут. После его завершения вы получите приблизительно следующие результаты:

      Output
      Benchmark
        Average number of seconds to run all queries: 18.117 seconds
        Minimum number of seconds to run all queries: 8.726 seconds
        Maximum number of seconds to run all queries: 22.697 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Полученные вами цифры могут отличаться. Сохраните эти цифры, чтобы сравнить их с результатами после активации кеширования.

      После теста ProxySQL без кеширования нужно снова запустить тот же тест, но в этот раз уже активировать кеширование.

      Шаг 4 — Тестирование с помощью mysqlslap с кешированием

      На этом шаге кеширование поможет нам сократить задержку при выполнении аналогичных запросов. Здесь вы определите выполненные запросы, получите их дайджесты из таблицы ProxySQL stats_mysql_query_digest и используете их для активации кеширования. Затем мы снова запустим тест для проверки разницы.

      Чтобы активировать кеширование, вам нужно знать дайджесты запросов, которые будут кешироваться. Выполните вход в интерфейс администратора ProxySQL с помощью этой команды:

      • mysql -uadmin -p -h127.0.0.1 -P6032

      Затем выполните этот запрос снова для получения списка выполненных запросов и их дайджестов:

      • SELECT count_star,sum_time,hostgroup,digest,digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;

      Результат должен выглядеть примерно так:

      Output
      +------------+-------------+-----------+--------------------+------------------------------------------+
| count_star | sum_time    | hostgroup | digest             | digest_text                              |
+------------+-------------+-----------+--------------------+------------------------------------------+
| 2000       | 33727110501 | 1         | 0xC5DDECD7E966A6C4 | SELECT * from dept_emp WHERE from_date>? |
| 1          | 601         | 1         | 0xF8F780C47A8D1D82 | SELECT @@HOSTNAME as hostname            |
| 1          | 0           | 1         | 0x226CD90D52A2BA0B | select @@version_comment limit ?         |
+------------+-------------+-----------+--------------------+------------------------------------------+
3 rows in set (0.00 sec)

      Посмотрите на первую строку. В ней содержится информация о запросе, который был выполнен 2000 раз. Это тестируемый запрос, выполненный ранее. Используйте его дайджест и сохраните его для использования при добавлении правила запроса для кеширования.

      Следующие несколько запросов будут добавлять новое правило запроса в ProxySQL, которое будет сопоставлять дайджест предыдущего запроса и добавлять для него значение cache_ttl. cache_ttl — это количество миллисекунд, в течение которых результат будет кешироваться в памяти:

      • INSERT INTO mysql_query_rules(active, digest, cache_ttl, apply) VALUES(1,'0xC5DDECD7E966A6C4',2000,1);

      В этой команде мы добавляем новую запись в таблицу mysql_query_rules; эта таблица хранит все правила, применяемые перед выполнением запроса. В этом примере мы добавляем значение столбца cache_ttl​​​, которое приводит к тому, что соответствующий запрос по указанному дайджесту будет кешироваться в течение определенного числа миллисекунд, указанного в этом столбце. Вы добавили 1 в столбце применения, чтобы гарантировать, что правило будет применяться к запросам.

      Воспользуйтесь командами LOAD и SAVE для этих изменений, после чего закройте командную строку mysql:

      • LOAD MYSQL QUERY RULES TO RUNTIME;

      • SAVE MYSQL QUERY RULES TO DISK;

      • exit;

      Теперь, когда кеширование активировано, перезапустите тест еще раз для проверки результата:

      • mysqlslap -usammy -P6033 -p -h127.0.0.1  --concurrency=100 --iterations=20 --create-schema=employees --query="SELECT * from dept_emp WHERE from_date>'2000-04-20'" --verbose

      Результат будет выглядеть примерно следующим образом:

      Output
      Benchmark
        Average number of seconds to run all queries: 7.020 seconds
        Minimum number of seconds to run all queries: 0.274 seconds
        Maximum number of seconds to run all queries: 23.014 seconds
        Number of clients running queries: 100
        Average number of queries per client: 1

      Здесь вы можете увидеть большую разницу в среднем времени исполнения: оно падает с 18.117 секунд до 7.020.

      Заключение

      В этой статье вы задали прозрачное кеширование с помощью ProxySQL для кеширования результатов запросов к базе данных. Также вы протестировали скорость запроса без кеширования и с кешированием, чтобы увидеть разницу, которую дает использование кеша.

      В этом обучающем руководстве мы использовали один уровень кеширования. Вы также можете попробовать веб-кеширование, которое размещается перед веб-сервером и кеширует ответы для аналогичных запросов, отправляя ответ клиенту без обращения к серверам бэкэнда. Это очень похоже на кеширование с ProxySQL, но на другом уровне. Чтобы узнать больше о веб-кешировании, ознакомьтесь со статьей Основы веб-кеширования: терминология, HTTP-заголовки и стратегии кеширования.

      Сервер MySQL также имеет собственный кеш запросов; подробнее о нем вы можете узнать в нашем руководстве по оптимизации MySQL с помощью кеширования запросов в Ubuntu 18.04.



      Source link

      Forgot Your Password ?