Ce petit mémo réalisé par Gosquared.com, résume très bien les principaux raccourcis clavier de Vi/Vim

Un petit oubli, il manque les raccourcis permettant de copier/coller (ou dupliquer) des lignes :

• Y or yy : Copie la ligne en cours
• nY : Copie n lignes (5Y copiera 5 lignes)
• yG : Copie du curseur jusqu’à la fin du fichier
• P : Copie après le curseur (ligne en dessous)
• p : Colle avant le curseur (ligne du dessus)

(Cliquez pour agrandir)

Vous pourrez bien entendu trouver sur Internet d’autres mémos plus ou moins complets.

Une version PDF est disponible ici.

Source et photo

Cet outil sera aussi très pratique pour suivre les soucis de surconsommation de mémoire ainsi que les scripts demandant trop de ressources. Dans ce petit tutoriel, nous allons voir comment activer, configurer et comprendre la page server-status.

1 – Activation

Par défaut sous les distributions basées sur Red Hat (CentOS, Fedora, RHEL), le module mod_status est chargé par défaut, pour activer l’affichage de la page server-status, il suffit d’éditer le fichier de configuration d’Apache pour décommenter certaines lignes.

Éditer le fichier de configuration d’Apache (le fichier peut se trouver à un autre emplacement suivant la distribution)

vi /etc/httpd/conf/httpd.conf

Rechercher et décommenter la ligne (qui permet d’afficher un rapport détaillé)

ExtendedStatus On

Puis rechercher le bloc, pour décommenter certaines lignes

<Location /server-status>
     SetHandler server-status
     Order deny,allow
     Deny from all
     Allow from 127.0.0.1 92.XXX.XX.XX
</Location>

La ligne Deny from all permet de refuser l’accès à tout le monde et Allow from 127.0.0.1 92.XXX.XX.XX permet d’autoriser l’accès à certaines IP. Il est bien entendu possible de supprimer ces deux lignes, l’accès sera alors autorisé pour tout le monde.

Il est ensuite nécessaire de recharger la configuration d’Apache

service httpd reload

Vous pouvez maintenant accéder à la page server-status via l’adresse :

http://votre-server/server-status

Pour une actualisation automatique de la page, il faut utiliser le paramètre refresh (en seconde), ici la page sera automatiquement rechargée toutes les 10 secondes :

http://votre-server/server-status?refresh=10

2 – Rapport

Voici un exemple de rapport :

Dans la première partie du rapport on peut voir (outre la date) :

• Que le serveur a été redémarré il y a 13 minutes
• L’utilisation du processeur (moins de 1%)
• Qu’il y a en moyenne sur le serveur 0,172 requêtes/seconde
• Que le trafic est de 975 octets/seconde
• Une requête fait en moyenne 5,5Ko
•  Une requête en cours de traitement et 8 slots sont libres (pour des connexions futures).

Nous pourrons ici détecter sur le serveur est surchargé.

Ensuite, dans une deuxième partie, nous pouvons voir un tableau de caractère, chaque caractère représente l’état d’un slot Apache, soit :

• « _ » : Slot en attente de connexion (prête à recevoir un client)
• « S » : Slot en cours de démarrage
• « R » : Le slot lit la requête du client
• « W » : Le slot envoie le résultat de la requête au client
• « K » : Le slot est en attente d’une requête du même client (Keepalive)
• « D » : Le slot effectue une requête DNS
• « C » : Le slot ferme la connexion avec le client
• « L » : Le slot écrit dans les fichiers de log (journaux)
• « G » : Le slot « meurt » car inutile
• « I » : Idle cleanup of worker
• « . » : Aucune activité

La dernière partie du rapport contient la liste des tâches effectuées par les slots Apache, la correspondance des colonnes est la suivante (seul  les plus importantes seront détaillées) :

• « PID » : Le PID système du processus Apache
• « M » : Le statut du slot (Voir précédemment).
• « CPU » : Le temps d’utilisation processeur pour exécuter la requête (en seconde)
• « SS » : Le temps d’inactivité du slot depuis la dernière requête (en seconde)
• « Req » : Le temps d’exécution de la dernière requête (en milliseconde)
• « Slot » : Le nombre de Ko transféré par ce slot
• « Client » : L’adresse IP du client (visiteur)
• « VHost » : L’adresse du site Internet pour lequel la requête est exécutée
• « Request » : La requête exécutée

Nous pourrons ici cibler précisément quel script tourne en boucle, connait des soucis de surconsommation de ressources, etc.

3 – Configurations supplémentaires

Pour aller plus loin dans la configuration de server-status :

Il est aussi possible de changer l’adresse de la page en modifiant la ligne

<Location /server-status>

En

<Location /nouvelle-adresse>

Ainsi le rapport sera accessible via l’adresse : http://votre-server/nouvelle-adresse

Si vous ne souhaitez pas mettre en place de filtrage IP pour l’accès à la page (ou en complément), il est possible de protéger la page via un mot de passe en utilisant un htpasswd. Pour ce faire, il faut ajouter les lignes suivantes avant </Location>

AuthUserFile "/var/www/.htpasswd"
AuthName "Veuillez vous identifier"
AuthType Basic
Require valid-user

Ensuite pour le contenu du fichier .htpasswd, vous pouvez utiliser un générateur.

OOM-Killer va donc être appelé lorsque le RAM et le SWAP sont entièrement utilisés et que le système n’a plus assez de mémoire à allouer aux processus. Ensuite OOM-Killer déterminera quel processus tuer suivant des heuristiques et ne terminera donc pas des processus système vitaux.

Les appels à OOM-Killer sont enregistrés dans les journaux systèmes (/var/log/messages) :

httpd invoked oom-killer: gfp_mask=[...], order=[...], oomkilladj=[...]

[suivis de quelques ligne de debug "Call Tace"]

Pour trouver tous les processus tués par OOM-Killer nous pourrons utiliser la commande suivante :

grep oom-killer /var/log/messages

Ici nous voyons qu’OOM-Killer a terminé le processus httpd (soit Apache). Dans certains cas, par exemple lors de l’utilisation d’un moteur de base de données contenant beaucoup d’enregistrements, ou si OOM-Killer à tendance à terminer les processus SSH, base de données, serveur web (ou autre), il sera utile de modifier le comportement de Linux avec la mémoire disponible.

Pour cela nous allons modifier le paramètre noyau overcommit_memory, ce paramètre peut prendre trois valeurs différentes :

• 0 : Il s’agit du comportement par défaut, les réservations de mémoire seront acceptées ou refusées selon un heuristique
• 1 : Toujours accepter
• 2 : Accepter les demandes, si elle ne dépasse pas la quantité de ressource déterminée dans le paramètre overcommit_ratio

Le paramètre overcommit_ratio (par défaut 50) détermine le pourcentage de mémoire physique que l’on autorise à allouer en plus du swap. Pour connaitre la quantité de mémoire que l’on autorise à allouer, le calcul est le suivant :  SWAP + ((RAM*overcommit_ratio)/100)

Pour éviter les dépassements de mémoire nous allons donc modifier les deux paramètres noyaux en mettant overcommit_memory à 2 et overcommit_ratio à 95 (Certains préconisent des valeurs plus basses telles que 75 ou 85, voir plus hautes). Les manipulations sont à effectuer en tant que root.

Pour modifier de façon temporaire (annulée au prochain redémarrage) :

echo 2 > /proc/sys/vm/overcommit_memory
echo 95 > /proc/sys/vm/overcommit_ratio

Pour une modification définitive, il faut éditer le fichier /etc/sysctl.conf

vi /etc/sysctl.conf

Et ajouter/modifier les lignes suivantes :

vm.overcommit_memory = 2
vm.overcommit_ratio = 95

Photo et Référence

Parmi les chiffres intéressants, on apprend par exemple que chaque jour, plus de 850 000 téléphones sous Linux sont activés, que 9 super-ordinateurs sur 10 tournent sur Linux, ou encore que Google, Twitter, Facebook et Amazon utilisent Linux.

Il est en effet important de divulguer le moins d’informations possible à un éventuel pirate, en effet ce dernier pourrait se servir de ces informations pour mieux cibler son attaque.

Pour ce faire nous allons utiliser les directives Apache ServerSignature et ServerTokens.

La première directive que nous allons modifier est ServerSignature, qui par défaut (On) affiche sur chacune des pages d’erreur générée les informations concernant le serveur.

Une fois la directive ServerSignature à Off, le serveur n’affiche plus aucune information sur les pages d’erreur.

La seconde directive est ServerTokens permet de modifier le contenu du champ « Server » qui se situe dans l’entête de chaque réponse envoyée par le serveur. Nous pouvons voir très simplement cette réponse grâce à la commande Telnet. Nous voyons ici qu’il s’agit d’un serveur Apache en version 2.2.15 installé sur une CentOS.

Une fois la directive ServerTokens à Prod (Pour Product Only), le champ « Server » contiendra uniquement le nom du serveur web utilisé.

Pour modifier ces deux directives, il suffit d’éditer le fichier httpd.conf

vi /etc/httpd/conf/httpd.conf

De rechercher les lignes contenant ServerSignature et ServerTokens pour les remplacer par

ServerSignature Off

Et

ServerTokens Prod

Pour valider le changement de configuration, il suffit de recharger la configuration d’Apache

service httpd reload

Photo

C’est ce que permet de faire le protocole NTP (Network Time Protocol), nous allons dans ce petit tutoriel voir comment installer et configurer NTP sur un système Linux.

Tout d’abord, il faut installer le paquet NTP, il est généralement installé sous la plupart des distributions :

#Pour CentOS/Red Hat/Fedora
yum install ntp

#Pour Debian/Ubuntu
apt-get install ntp

Éditer le fichier de configuration pour spécifier les serveurs de temps à utiliser

vi /etc/ntp.conf

Nous pouvons par exemple utiliser les serveurs du projet pool.ntp.org

server 0.fr.pool.ntp.org
server 1.fr.pool.ntp.org
server 2.fr.pool.ntp.org
server 3.fr.pool.ntp.org

Vous trouverez une liste complète de serveur à cette adresse ou encore ici

Il faut ensuite démarrer le service et lancer au démarrage du système

#Pour CentOS/Red Hat/Fedora
chkconfig ntpd on
service ntpd start

#Pour Debian/Ubuntu
update-rc.d ntp defaults
service ntp start

Pour forcer la mise à jour de l’heure, nous utiliserons la commande ntpdate il faudra d’abord arrêter le service puis le relancer après la mise à jour

#Pour CentOS/Red Hat/Fedora/Debian/Ubuntu
service ntpd stop
ntpdate 0.fr.pool.ntp.org
service ntpd start

Pour vérifier que le système est bien à l’heure, il suffira d’exécuter la commande date

date

Sommaire du tutoriel

1. Effectuer des tests de montée en charge avec Tsung (Partie 1 – Installation)
2. Effectuer des tests de montée en charge avec Tsung (Partie 2 – Configuration)
3. Effectuer des tests de montée en charge avec Tsung (Partie 3 – Le test)

1 – Lancer le test

Nous pouvons ensuite lancer le test avec la commande (qui par défaut chargera le fichier de configuration ~/.tsung/tsung.xml) :

tsung start

Pour utiliser un autre fichier de configuration, il faut passer le chemin de ce dernier à la commande, soit :

tsung -f ~/.tsung/tsung-second-test.xml start

Au lancement du test, Tsung crée un dossier contenant les logs, que nous utiliserons plus tard pour générer le rapport.

La montée en charge est maintenant lancée vous pouvez à tout moment l’arrêter en tapant la commande « Tsung stop » ou la combinaison de touche ctrl+c

2 – Générer le rapport

Une fois le test terminé, il faut se rendre dans le dossier contenant les logs :

Cd ~/.tsung/log/20130201-2348

Et ensuite générer le rapport avec la commande (notez qu’il sera plus pratique de créer un alias nommé par exemple « tsung-repport » que d’exécuter cette commande).

/usr/lib/tsung/bin/tsung_stats.pl

Le rapport se trouvera alors dans le même dossier que les logs, et se nommera « repport.html »

L’ouverture du rapport peut se faire entre autre avec la commande (A condition d’utiliser l’option –X de ssh)

firefox report.html

Le rapport possède deux parties, la première étant composée de statistiques,

et la seconde de graphiques.

Il ne reste maintenant plus qu’à analyser le rapport afin de tirer les conclusions de cette montée en charge. A noter que le rapport ci-dessus a été généré en quelques secondes de tests (d’où le peu d’informations qu’il contient).

Sommaire du tutoriel

1. Effectuer des tests de montée en charge avec Tsung (Partie 1 – Installation)
2. Effectuer des tests de montée en charge avec Tsung (Partie 2 – Configuration)
3. Effectuer des tests de montée en charge avec Tsung (Partie 3 – Le test)

1 – Copier un exemple basique dans ~/.tsung

Tsung propose plusieurs fichiers d’exemples de configuration, et nous allons ici en prendre un simple afin de l’adapter à notre application. Il faut tout d’abord vérifier l’existence du répertoire ~/.tsung qui est l’emplacement des fichiers de configuration et de journaux de Tsung.

Mkdir ~/.tsung

Copier ensuite le fichier d’exemple.

cp  /usr/share/doc/tsung/examples/http_simple.xml ~/.tsung/tsung.xml

2 – Enregistrement d’un scénario

A cette étape nous allons utiliser la commande « Tsung-recorder » pour enregistrer un scénario de navigation, c’est-à-dire l’activité d’un internaute sur notre application. Cette étape est néanmoins optionnelle puisqu’il sera possible d’écrire notre scénario directement dans le fichier de configuration de Tsung (un scénario peut être juste le chargement d’une page, un fichier etc.).

Pour lancer l’enregistrement d’un scénario il suffit de taper la commande :

tsung-recorder start

Tsung-recorder lancera un proxy qui écoutera sur le port 8090 et enregistrera la navigation dans un fichier. Il suffira ensuite de paramétrer un navigateur internet afin qu’il utilise ce proxy.

Tsung recorder nous indiquera aussi le nom du fichier généré.

L’étape suivante est de lancer le navigateur (ici Firefox) installé sur le serveur. Si vous ne possédez pas d’interface graphique sur le serveur, il faudra rediriger la sortie graphique avec l’option –X de ssh.

Pour ce faire, il faut tout d’abord installer les paquets X Window.

yum groupinstall 'X Window System'

Ouvrir une nouvelle session SSH.

ssh –X utilisateur@serveur

Puis lancer Firefox via la commande.

Firefox

Votre navigateur doit alors s’ouvrir. Il suffit maintenant de configurer le proxy et de naviguer sur l’application que l’on souhaite tester.

Une fois terminé, taper la commande suivante pour arrêter l’enregistrement :

tsung-recorder stop

Nous pouvons visualiser l’enregistrement en ouvrant le fichier :

cat  ~/.tsung/tsung_recorder20130201-2335.xml

Voici un extrait du contenu :

<request><http url='/index.html' version='1.1' method='GET'></http></request>
<request><http url='/contact.html' version='1.1' method='GET'></http></request>

3 – Configuration du test

Maintenant que tout est installé et que notre scénario est enregistré, nous allons éditer la configuration de notre test afin de renseigner tous les paramètres de la montée en charge. Pour cela il faut éditer le fichier tsung.xml

Dans le XML de configuration, quatre nœuds vont nous intéresser :

• <Clients> : Il s’agit de définir les clients utilisés par Tsung. Il est possible de définir les IP, nombre d’utilisateurs maximum, nombre de processeurs etc.
• <Servers> : Défini le serveur cible (notre plateforme à tester).
• <Load> : Défini la/les phase(s) d’arrivée(s) de nos visiteurs, c’est-à-dire les étapes de notre montée en charge. Le nœud Load est donc composé d’un ou plusieurs nœuds arrivalphase.
  • <Arrivalphase> : Contient les détails d’une phase d’arrivée : durée, nombre d’utilisateurs à simuler, fréquence d’arrivée des visiteurs …
  • Généralement, plusieurs phases seront définies en accentuant la montée en charge, jusqu’à arriver à un stress intensif.
• <Sessions> : Contient les scénarios d’utilisation possible. Chaque scénario équivaut à un nœud « Session », et est composé de « Request ». A noter qu’il est possible de définir des probabilités pour les scénarios (le total des probabilités doit toujours être égal à 100).
  • Les boucles : permettent d’augmenter le nombre de requêtes à effectuer sur l’application. Tsung nous permet de boucler sur les balises <request>, via l’utilisation de <For> …
  • <for from= »1″ to= »10″ var= »i »><request>…</request></for> : Pour boucler 10 fois sur les <Request>, de façon à générer encore plus de requêtes sur notre plateforme.

Maintenant que nous avons présenté rapidement les principaux points du fichier de configuration, nous allons passer à l’édition. Pour ce faire, il suffit d’ouvrir le fichier ~/.tsung/tsung.xml, et de le modifier afin de créer la configuration de test idéale pour votre architecture, vos besoins, etc.

vi ~/.tsung/tsung.xml

Voici un exemple de fichier XML :

<?xml version="1.0"?>
<!DOCTYPE tsung SYSTEM "/usr/share/tsung/tsung-1.0.dtd">
<tsung loglevel="notice" version="1.0">

	<!-- Configuration du client -->
	<clients>
		<client host="localhost" use_controller_vm="true"/>
	</clients>

	<!-- Configuration du serveur -->
	<servers>
		<server host="192.168.1.11" port="80" type="tcp"></server>
	</servers>

	<!-- phases d'arrivée, 3 paliers de 10 minutes où l'on augmente la fréquence d'arrivée de 1 puis 10 puis 30 visiteurs par seconde -->
    <load>
        <arrivalphase phase="1" duration="10" unit="minute">
            <users arrivalrate="1" unit="second"></users>
        </arrivalphase>
        <arrivalphase phase="2" duration="10" unit="minute">
            <users arrivalrate="10" unit="second"></users>
        </arrivalphase>
        <arrivalphase phase="3" duration="10" unit="minute">
            <users arrivalrate="30" unit="second"></users>
        </arrivalphase>
    </load>

	<!-- Les scénarios -->
	<sessions>
		<!-- Scénarios 1 avec 70% de probabilité, l'internaute charge successivement 3 pages -->
		<session name="scenario1" probability="70" type="ts_http">
			<request><http url='/page1.html' version='1.1' method='GET'></http></request>
			<request><http url='/page2.html' version='1.1' method='GET'></http></request>
			<request><http url='/page3.html' version='1.1' method='GET'></http></request>
		</session>
		<!-- Scénarios 2 avec 30% de probabilité, l'internaute charge 10 fois la page 1 -->
		<session name="scenario2" probability="30" type="ts_http">
			<for from="1" to="10" var="i">
				<request><http url='/page1.html' version='1.1' method='GET'></http></request>
			</for>
		</session>
	</sessions>
</tsung>

Dans la troisième et dernière partie de ce tutoriel nous verrons comment lancer le test de montée en charge et générer un rapport.

Tsung est un outil permettant d’effectuer des tests de montée en charge sur une architecture. Une de ses particularités, est qu’il ne se limite pas au protocole HTTP, mais gère aussi WebDAV, SOAP, PostgreSQL, MySQL ou encore LDAP. Tsung est gratuit, distribué sous licence GPLv2 et dispose d’une documentation relativement claire.

Le principe est relativement simple : l’application va simuler l’arrivée de nombreux utilisateurs sur la plateforme. Le plus de Tsung par rapport à ses concurrent est de pouvoir créer des scénarios d’utilisation (et propose même un utilitaire d’enregistrement de scénario). Cela signifie que l’application ne se contente pas de charger une page à intervalle régulier, mais de simuler la navigation sur la plateforme.

Une fois le test terminé, Tsung nous permettra de générer un rapport contenant une série de graphiques ; l’analyse sera donc relativement simple.

L’utilisation d’utilitaires de montée en charge comme Tsung permet :

• De connaître la charge qu’une plateforme peut supporter
• Vérifier que la capacité d’accueil de la plateforme est conforme aux spécifications (et donc aux demandes d’un client par exemple)

Avant d’utiliser cet outil, il est bon de s’assurer de deux choses :

• Que le réseau est suffisamment dimensionné : en effet un réseau sous dimensionné créera un goulot d’étranglement en amont de notre plateforme.
• La plateforme doit vous appartenir. Dans le cas contraire, vous devez avoir un accord de l’hébergeur.

Nous allons ici nous intéresser à la mise en place d’un test simple sur une application web. Nous effectuerons les manipulations sous CentOS, les commandes seront donc identiques sous Fedora et Red Hat (RHEL). Pour les autres distributions, seuls les noms des paquets devraient changer ainsi que deux ou trois commandes.

Sommaire du tutoriel

1. Effectuer des tests de montée en charge avec Tsung (Partie 1 – Installation)
2. Effectuer des tests de montée en charge avec Tsung (Partie 2 – Configuration)
3. Effectuer des tests de montée en charge avec Tsung (Partie 3 – Le test)

1 – Installer CentOS

Comme dit précédemment, nous utiliserons CentOS, la version 6.3 minimale. Pour le téléchargement, c’est par ici.

La première étape sera donc l’installation de la distribution.

2 – Ajouter les dépôts additionnels

Nous installons ici les dépôts RPMForge, EPEL et Remi qui nous servirons à installer les paquets requis pour l’installation de Tsung.

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
rpm --import http://dag.wieers.com/rpm/packages/RPM-GPG-KEY.dag.txt

rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm
rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm

3 – Mise à jour de la distribution et installation des paquets utiles

Nous allons maintenant mettre à jour la distribution et installer les paquets Man, Locate, Bash-Completion, Make et Wget.

yum update
yum install man mlocate bash-completion make wget

4 – Installer les pré-requis

Nous allons maintenant installer les paquets requis pour l’installation de Tsung. Il s’agit d’Erlang, Perl, Gnuplot ainsi que certains modules de Perl.

yum install erlang perl gnuplot perl-RRD-Simple.noarch perl-Log-Log4perl-RRDs.noarch perl-Template-Toolkit

Nous installerons aussi Firefox car il nous servira pour la visualisation des rapports.

yum --enablerepo=remi install Firefox

5 – Installation de Tsung

Nous allons maintenant passer à l’installation de Tsung à proprement parler. A l’heure de l’écriture de ce guide, Tsung est en version 1.4.2. La dernière version se trouve sur le site officiel.

Pour le téléchargement :

cd /tmp
wget http://tsung.erlang-projects.org/dist/tsung-1.4.2.tar.gz

Ensuite il faut décompresser l’archive et compiler Tsung. Cette dernière opération peut être un peu longue.

tar zxfv  tsung-1.4.2.tar.gz
cd tsung-1.4.2
./configure && make && make install

Partie 2 : La configuration de Tsung

yum install vixie-cron crontabs
chkconfig crond on
service crond start