Size of MySQL database

Vogliamo sapere lo spazio occupato da ogni singolo database usando la command line, una semplice query restituisce a video l'informazione richiesta. Prestate attenzione perché questa query potrebbe richiedere molto tempo per DB di grandi dimensioni.

mysql> SELECT table_schema "DB Name",
Round(Sum(data_length + index_length) / 1024 / 1024, 1) "DB Size in MB"
FROM information_schema.tables
GROUP BY table_schema;

Ecco un esempio dell'output:

+--------------------------------+---------------+
| DB Name | DB Size in MB |
+--------------------------------+---------------+
| monitoraggio | 1505.0 |
| mysql | 0.7 |
| pcparts | 0.4 |
| performance_schema | 0.0 |
| photogulp | 193.3 |
| photogulp_webalbum | 0.5 |
| phplistdb | 33.4 |
| pixellone_artistika | 7.9 |
| pixellone_enter | 0.4 |
| rc-bazar_oc | 4.8 |
| wordpress_9 | 1.1 |
+--------------------------------+---------------+

MySQL UDF Perl Regular Expression

Leggi l'articolo sul BLOG LBiT:
http://blog.lbit-solution.it/2013/11/mysql-udf-perl-regular-expression/

Nel realizzare nuovi scraper per g4play.it Emanuele si è reso conto che la nostra istanza MySQL  non supporta le espressioni regolari, a lui non servono solo query di ricerca ma manipolazioni di dati complesse. Con estrema semplicità mi chiede di installare la libreria lib_mysqludf_preg, non è complicato, ma neanche così banale. Iniziamo subito con l'installazione dei pacchetti che ci serviranno:

  [root@mysqllbit lib_mysqludf_preg]# yum install pcre pcre-devel [root@mysqllbit lib_mysqludf_preg]# yum install make gcc gcc-c++ [root@mysqllbit lib_mysqludf_preg]# yum install mysql-devel

 Questo per evitare tutti gli errori relativi al compilatore, a pcre e mysql. Scarichiamo il paccheto da GitHub:

[root@mysqllbit lib_mysqludf_preg]# wget https://github.com/mysqludf/lib_mysqludf_preg/archive/testing.zip
[root@mysqllbit lib_mysqludf_preg]# unzip testing.zip

  ora lanciamo il configuratore

[root@mysqllbit lib_mysqludf_preg]# ./configure

  ci siamo risparmiati gli errori avendo installato preventivamente i pacchetti, l'unico messaggio a video con la parola ERROR è

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

  Possiamo rilassarci, avendo settato la password di root è normale che non riesca ad accedere. Ora installiamo:

[root@mysqllbit lib_mysqludf_preg]# make
[root@mysqllbit lib_mysqludf_preg]# make install
[root@mysqllbit lib_mysqludf_preg]# make installdb

ERROR 1548 (HY000) at line 5: Cannot load from mysql.proc. The table is probably corrupted
make: *** [uninstalldb] Error 1

  Sull'ultimo passaggio ho ricevuto errore di tabella corrotta, per questo ho dovuto prima "sistemare" le tabelle MySQL e poi rilanciare il make installdb

[root@mysqllbit lib_mysqludf_preg]# make installdb
/usr/bin/mysql -p <./uninstalldb.sql 
Enter password: 
cat installdb.sql | sed 's/\.so/.dll/g' >installdb_win.sql
if test -f .libs/lib_mysqludf_preg.dll; then  \
                /usr/bin/mysql -p <./installdb_win.sql; \
        else \
                /usr/bin/mysql -p <./installdb.sql;\
        fi
Enter password:
[root@mysqllbit lib_mysqludf_preg]# make test
cd test; make test
make[1]: Entering directory `/usr/local/lib/lib_mysqludf_preg/test'
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-f...
Enter password:
ok
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-f...
Enter password:
ok
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-f...
Enter password:
ok
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-fi...
Enter password:
ok
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-f...
Enter password:
ok
/usr/bin/mysqltest -p --include=create_testdb.sql  --result-f...
Enter password:
ok
make[1]: Leaving directory `/usr/local/lib/lib_mysqludf_preg/test'

Finito, ora Emanuele potrà usare le espressioni regolari per manipolare i dati di g4play.it.

Cancellare i riassunti da wordpress

A volte i riassunti prodotti dai plugin di wordpress non sempre facilitano la gestione del sito, anzi a volte ci obbligano a rimuovere l'html.


Inizialmente rimuovevo il codice html da tutti i riassunti che davano problemi, con il tempo gli articoli aumentiavano e i riassunti errati rendevano il sito non fruibile, per risolvere basta fare l'update di una tabella, posto il codice PHP in modo da poter fare una pagina da poter richiamare con il browser:

<?php
print "HO CANCELLATO I RIASSUNTI DI GIANDIEGO MARIGO \n";
$conn = mysql_connect("62.149.150.95", "utente", "password");
mysql_select_db('photogulp');
$sql=" UPDATE `photogulp`.`PHOTOGULP_posts` SET `post_excerpt` = '' WHERE `PHOTOGULP_posts`.`post_author` =62";
mysql_query($sql);
mysql_close($conn)
?>
<br> 

PHP calcola lo spazio di MYSQL

Una semplice paginetta PHP per calcolare lo spazio occupato dai nostri DB MYSQL. Posto il codice al quale basta sostituire i propri valori.

<?php

print "\n";

print "CALCOLO DEL DATABASE DB_NAME LBiT-solution.it\n";

$conn = mysql_connect('127.0.0.1', 'USERNAME', 'PASSWORD');

mysql_select_db('DB_NAME');

$sql = "SELECT table_schema \"Data Base Name\", SUM( data_length + index_length ) /1024 / 1024 "\Data Base Size in MB\", SUM( data_free ) /1024 /1024 "\Free Space in MB\"\n"

. "FROM information_schema.TABLES\n"

. "GROUP BY table_schema\n"

. "LIMIT 0 , 30";

$result = mysql_query($sql);

while ($array = mysql_fetch_array($result))

{

print "<p align\="left\">Data Base Name: ".$array['Data Base Name']." Size in MB: ".$array['Data Base Size in MB']."</p>";

}

print "\n";

print "\n";

print "CALCOLO DEL DATABASE DB_NAME PHOTOGULP.it\n";

$conn = mysql_connect('127.0.0.1', 'USERNAME', 'PASSWORD');

mysql_select_db('DB_NAME');

$sql = "SELECT table_schema \"Data Base Name\", SUM( data_length + index_length ) /1024 / 1024 "\Data Base Size in MB\", SUM( data_free ) /1024 /1024 "\Free Space in MB\"\n"

. "FROM information_schema.TABLES\n"

. "GROUP BY table_schema\n"

. "LIMIT 0 , 30";

$result = mysql_query($sql);

while ($array = mysql_fetch_array($result))

{

print "<p align\="left\">Data Base Name: ".$array['Data Base Name']." Size in MB: ".$array['Data Base Size in MB']."</p>";

}

?>

La pagina potrebbe impiegarci diverso tempo, questo varia dalle dimensioni del DB. Buona navigazione.

Mysql Multimaster - SCRIPT

Uno script bash per riallineare la configurazione dei server mysql in modalità multimaster; questo perchè i miei due server non sempre sono in connessione tra loro ed è capitato di non avere le repliche attive. Questo a portato ad avere disallineamento tra le due istanze.
SCRIPT mysql_MM.sh

#/bin/bash
# PRIMO SERVER
MM1=10.10.216.167
USER1=topolino
PASSWORD1=topolino
userDB="root"
pwdDB="toor"
# SECONDO SERVER
MM2=10.10.216.168
USER2=paperino
PASSWORD2=paperino
userDB2="root"
pwdDB2="toor"

echo "SHOW MASTER STATUS;" > showmaster.sql

# CONFIGURAZIONE SERVER 15.1.1.1
filebin=`mysql -h $MM2 -u $userDB2 -p$pwdDB2 <showmaster.sql |grep -i mysql-bin|awk '{print $1}'`
position=`mysql -h $MM2 -u $userDB2 -p$pwdDB2 <showmaster.sql |grep -i mysql-bin|awk '{print $2}'`
cat > MMmysql.sql << DT
STOP SLAVE;
CHANGE MASTER TO MASTER_HOST='$MM2', MASTER_USER='$USER1', MASTER_PASSWORD='$PASSWORD1', MASTER_LOG_FILE='$filebin', MASTER_LOG_POS=$position;
START SLAVE;
DT
mysql -h $MM1 -u $userDB -p$pwdDB <MMmysql.sql


# CONFIGURAZIONE SERVER 15.1.1.3
filebin2=`mysql -h $MM1 -u $userDB -p$pwdDB <showmaster.sql|grep -i mysql-bin|awk '{print $1}'`
position2=`mysql -h $MM1 -u $userDB -p$pwdDB <showmaster.sql |grep -i mysql-bin|awk '{print $2}'`
cat > MMmysql2.sql << DT
STOP SLAVE;
CHANGE MASTER TO MASTER_HOST='$MM1', MASTER_USER='$USER1', MASTER_PASSWORD='$PASSWORD2', MASTER_LOG_FILE='$filebin2', MASTER_LOG_POS=$position2;
START SLAVE;
DT
mysql -h $MM2 -u $userDB2 -p$pwdDB2 <MMmysql2.sql
sleep 2
echo "SHOW SLAVE STATUS\G;" > showSlave.sql
date > mysqlMM.log
echo "CMD MYSQL PER $MM1">>mysqlMM.log
cat MMmysql.sql >> mysqlMM.log
echo "CMD MYSQL PER $MM2" >> mysqlMM.log
cat MMmysql2.sql >> mysqlMM.log
echo "" >> mysqlMM.log
mysql -h $MM2 -u $userDB2 -p$pwdDB2 <showSlave.sql>> mysqlMM.log
mysql -h $MM1 -u $userDB -p$pwdDB <showSlave.sql>> mysqlMM.log

rm showmaster.sql
rm MMmysql.sql
rm MMmysql2.sql
rm showSlave.sql

Su uno dei due server ho invce inserito nel crontab uno script bash che mi pubblica una pagina web con lo stato dei due server mysql multimaster (sempre che siano raggiugnibili!)


root@elsamu-zm:/home/domenico/Script# cat mysqlHTML.sh
#!/bin/bash
date > /var/www/mysql.html
echo "<br>" >> /var/www/mysql.html
fortune >> /var/www/mysql.html
echo "<br>" >> /var/www/mysql.html
echo " 15.1.1.1" >> /var/www/mysql.html
mysql -h 15.1.1.1 -u root -ptoor --html </home/domenico/Script/mysql_status.sql >> /var/www/mysql.html
echo " 15.1.1.3" >> /var/www/mysql.html
mysql -h 15.1.1.3 -u root -ptoor --html </home/domenico/Script/mysql_status.sql >> /var/www/mysql.html

E questo è lo script sql che contiene i 3 comandi utili per vedere lo stato dei multimaster

root@elsamu-zm:/home/domenico/Script# cat mysql_status.sql
SHOW MASTER STATUS;
SHOW PROCESSLIST;
SHOW SLAVE STATUS\G;

root@elsamu-zm:/home/domenico/Script#



Recuperare la password di root MYSQL

Oggi il simpatico collega laureando in ING informatica si è perso la password dell'utente root di MYSQL. Il cambio password è piu semplice di quanto possa sembrare, posto i semplici comandi da lanciare:

Per iniziare fermiamo MYSQL, su LINUX con /etc/init.d/mysql stop mentre su WINDOWS dalla finestra SERIVZI

mysqld --skip-grant-tables --user=root &
Nel caso di WINDOWS non inserire la e "&" commerciale

mysql
USE mysql
UPDATE user
SET password=password("topolino“)
WHERE user=”root”;
flush privileges;
exit

pkill mysqld
Nel caso di WINDOWS basta premere CTRL C^ NELLA FINESTRA DOS

ps -ef|grep -i mysqld
Verifichiamo che il demone mysql non sia attivo, a questo punto avviamolo.

/etc/init.d/mysql start

Ovviamente

Multimaster MYSQL

La necessità ora è cambiata, il server che in precedenza era configurato come SLAVE e quindi in sola lettura ora dovrà essere MASTER, così facendo passiamo dalla configurazione MASTER-SLAVE alla MULTIMASTER. Le info per la prima configurazione sono nel precedente post.

Andiamo ad editare i file di configurazione dei server mysql e aggiungiamo queste entry:

Server 15.1.1.1 (EX SLAVE):
auto_increment_increment = 2
auto_increment_offset = 2

Server 15.1.1.3 (EX MASTER) :
auto_increment_increment = 2
auto_increment_offset = 1

cosi facendo i file di configurazione saranno i seguenti:

SERVER 15.1.1.1

server-id = 2
auto_increment_increment = 2
auto_increment_offset = 2
master-host=15.1.1.3
master-user=repl_user
master-password=password
log-slave-updates
replicate-same-server-id = 0
master-connect-retry=60
replicate-do-db=invoicex
log_bin = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size = 100M

SERVER 15.1.1.3

server-id = 1
auto_increment_increment = 2
auto_increment_offset = 1
master-host=15.1.1.1
master-user=repl_user
master-password=password
log-slave-updates
replicate-same-server-id = 0
replicate-do-db=invoicex
log_bin = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size = 100M
binlog_do_db = invoicex

Andiamo a creare l'utenza per la replica sul server 15.1.1.1:


GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%' IDENTIFIED BY 'dcrd1980';

Sempre dal server 15.1.1.3 restartiamo il demone mysql e andiamo a leggere su quale log sta scrivendo:


mysql -u root -p

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000011 | 40827 | | |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)


Ora spostiamoci sul server 15.1.1.3 e attiviamo la replica:


CHANGE MASTER TO
MASTER_HOST='15.1.1.3',
MASTER_USER='repl_user',
MASTER_PASSWORD='password',
MASTER_LOG_FILE='mysql-bin.000011',
MASTER_LOG_POS=40827;

START SLAVE

I server sono ora in modalità MULTIMASTER, possiamo scrivere su entrambi i DB e avremo sempre i dati aggiornati disponibili.

Replicare i dati mysql MASTER-SLAVE

Questo articolo è una guida per replicare i dati tra due database mysql, nasce dalla necessità di avere un DB in locale (MASTER) e un DB remoto (SLAVE). Il master è un notebook con un software gestionale, essendo in una rete privata protetta non ha la possibilità di collegarsi al DB presente in un'altro ufficio (sede B dove risiederà lo SLAVE); altri utenti presenti nell'ufficio B devono accedere in lettura al DB.
Procederemo configurando il servizio mysql dell'ufficio B come SLAVE e quello del notebook come MASTER, la connessione avverrà tramite VPN. In questo modo ovunque sia il notebook l'utente avrà sempre i dati aggiornati essendo lui il master, anche se non avrà a disposizione una connessione dati, quando il PC entrerà in VPN l'istanza SLAVE aggiornerà i dati rendedoli disponibili.

Per preparare i server sono necessarie le seguenti operazioni:

OPERAZIONI DA ESEUIRE SUL SERVER MASTER (IP VPN 15.1.1.3)

Aggiungere un utente con privilegi di replica, lanciando la query
mysql -u root -p
GRANT REPLICATION SLAVE ON *.* TO 'replicauser'@'%' IDENTIFIED BY 'password';

Per aumentare la sicurezza modificare il campo host (%) indicando un IP o un hostname specifico

attivare i log binari in my.cnf (ed eventualmente escludere o includere i db desiderati) e assicurarsi di indicare che il server sarà il master; le righe interessate sono le seguenti:

mysql -u root -p

[mysqld]
server-id = 1
log-bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 104857600
binlog-do-db = nomeDB
binlog-ignore-db = test

bloccare le tabelle da scrittura per impedirne la modifica con la query

FLUSH TABLES WITH READ LOCK;

NB: non disconnettere il client da cui si esegue questo comando, altrimenti il blocco da scrittura viene disabilitato. Questo passo è molto importante e serve per allineare i database prima di iniziare la replica vera e propria

fare una copia del database sorgente con mysqldump
sqldump nomeDB -u root -p > file_dump.sql

Lanciare la query in un nuovo terminale e segnarsi la Posizione e il file di log in uso.
SHOW MASTER STATUS;

risultato query:

+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000294 | 4905684 | invoicex | |
+------------------+----------+--------------+------------------+
1 row in set (0,00 sec)

Ora possiamo sbloccare il MASTER

UNLOCK TABLES;

OPERAZIONI DA ESEGUIRE SULLO SLAVE (IP VPN 15.1.1.1)

Creare il database
mysql -u root -p
create database invoicex;

Importare il database (o meglio i database) salvati con il seguente comando

mysql nomeDB -u root -p < file_dump.sql

Verificare che nel file my.cnf ci sia la entry "server-id=2"

CHANGE MASTER TO
MASTER_HOST='15.1.1.3',
MASTER_USER='replicauser',
MASTER_PASSWORD='password',
MASTER_LOG_FILE='mysql-bin.000294',
MASTER_LOG_POS=4905684;

START SLAVE;

Verificare il corretto funzionamento della configurazione con i comandi:


SHOW MASTER STATUS;
SHOW PROCESSLIST;
SHOW SLAVE STATUS\G;


Ora la replica è pronta, ogni qual volta si aggancia al MASTER preleva le informazioni per replicare i dati, ovviamente in raltime.
Questa soluzione non è adatta ad una grande mole di dati, attualmente il DB è usato per gestire un negozio.

Spostare un DB mysql

Spostare un DB da un server ad un'altro non è un'operazione poi cosi complessa, prima di procedere assicurarsi di avere le credenziali di root e il servizi SSH attivo su uno dei due server (va bene anche ftp)

Accedere alla macchina da dismettere e con lanciare il seguente comando:

mysqldump DB_da_spostare -u root -pPassword > file_DB_dump.sql

ottenuto il dump del db ora copiamolo nel nuovo server:

scp file_DB_dump.sql root@10.10.0.120:/tmp

rimanendo sul server da dismettere lanciamo il seguete comando:

ssh root@10.10.0.120 " mysqladmin create DB_da_spostare -u root -pPassword; cd /tmp; mysql DB_da_spostare -u root -pPassword < file_DB_dump.sql"


Facendo il riepilogo le operazioni sono le seguenti:
Dump del DB:
mysqldump DB_da_spostare -u root -pPassword > file_DB_dump.sql
Creazione database da importare:
mysqladmin create DB_da_spostare -u root -pPassword
Importazione database:
mysql DB_da_spostare -u root -pPassword < file_DB_dump.sql

Fabio Ghioni e spionaggio Telecom

Nel video andato in onda su Report (RAI 3) Fabio Ghioni alias "OMBRA NERA", questo è uno dei video più interessanti della vicenda Telecomitalia sullo scandalo di sipionaggio.

Spionaggio Telecom

La più grande operazione di spionaggio del secolo, coinvolto Tronchetti con Telecomitalia, poliziotti, dinanzieri, ex dipendeti della CIA... THE ITALIAN JOB!!!
Il suicidio di un manager a Napoli, la prima parte del servizio di Report (RAI 3), da vederli tutti.

Mysql - connessioni su IP diversi

Ho la necessità di collegarmi al DB MYSQL del mio portatile da reti differenti e tutte con DHCP, la prima aziendale (dove ovviamente non posso toccare nulla) in classe 10.X.X.X e la seconda in classe 192.X.X.X dove ho staticizzato sul router l'IP 192.168.1.110 per il MAC ADDRESS della scheda di rete wi-fi "eth2". Ovviamente le connssioni non sono tutte in localhost!
Non vorrei ovviamente cambiare ogni volta l'IP ai vari tool o programmi che si connettono al DB e allora ho trovato questa semplice soluzione.

Per prima cosa abilitare MYSQL ad accettare connessioni esterne, per rendere questo possibile accediamo al db con il comando:


mysql -u root -p

e digitiamo la seguente riga dove root è l'utente amministrativo e "password" la password amministrativa:


grant all privileges on *.* to root@'%' identified by 'password' with grant option;

Ora apriamo il file di configurazione (/etc/mysql/my.cnf), commentiamo la riga "skip-external-locking" e commentiamo bind-address:
#skip-external-locking
#bind-address = 192.168.1.110

Restart di MYSQL con
/etc/init.d/mysql restart

Ora è in ascolto sull'IP inserito nel file di configurazione; quando siamo nella rete aziendale abilitiamo un alias sulla scheda di rete locale (almeno non facciamo danni nella rete aziendale):


ifconfig lo:0 192.168.1.110 netmask 255.255.255.0 up


Quest'alias ovviamente al riavvio del sistema andrà perso in modo che al riavvio a casa il PC si collegherà automaticamete alla rete WI-FI con l'interfaccia eth2 e acquisirà l'indirizzo 192.168.1.110, a quel punto i vari PC della rete "domestica" potranno collegarsi al DB senza effettuare nessuna modifica.

La soluzione più facile è quella di lasciare commentato "bind-address = 192.168.1.110" in modo che possiamo accedervi tranquillamente in localhost, unico problemi però, che cosi facendo è accedibile anche dagli altri. Ovvio che alzando un firewall risolviamo il probelma!