Guide de configuration et d`utilisation de l`analyseur de

Le Serveur de communication IceWarp
Configuration et
utilisation de l'analyseur
de Journaux
Version 10.3
Juin 2011
© Icewarp France / DARNIS Informatique
i
Sommaire
Configuration et utilisation de l'analyseur de journaux
2
Introduction ................................................................................................................ 2
Présentation de l'analyseur de journaux ......................................................................... 2
Importation des journaux ............................................................................................. 3
Configuration ..................................................................................................... 3
Importer les journaux dans la base de données ...................................................... 6
La visualisation des journaux ........................................................................................ 6
Configuration du visionneur de journaux ....................................................... 6
Visualisation des statistiques ....................................................................... 9
Message de statistiques .............................................................................................. 12
2
Configuration et utilisation
de l'analyseur de journaux
Introduction
Ce document précise les différentes étapes dans la mise en œuvre de l'analyseur de journaux (ILA Icewarp Log Analyser).
Il est destiné aux administrateurs qui désirent mettre en œuvre l'analyseur de journaux pour obtenir
une vue synthétique du fonctionnement de leur serveur.
Les journaux analysés sont actuellement : SMTP, POP3, IMAP, Anti-Virus et Anti-Spam. D'autres
journaux et d'autres formats de sortie seront proposés au fur et à mesure des nouvelles versions
d'IceWarp.
L'utilisation de cet outil nécessite une licence. Cette licence est attachée au serveur IceWarp qui
exporte ses données, elle n'est pas attachée à l'outil de présentation lui même (le visionneur) qui peut
être exécuté sur autant de machines que nécessaire.
Présentation de l'analyseur de journaux
L'analyseur de journaux est un outil d'analyse statistique et logique des journaux générés par le
serveur IceWarp.
Son fonctionnement est divisé en 2 étapes :
1. L'importation des journaux générés par le serveur dans une base de données
Cette importation est effectuée par l'intermédiaire de la console d'administration d'IceWarp. Une
fois la configuration définie, l'importation est effectuée quotidiennement de façon automatique. Les
données du plusieurs serveurs peuvent être exportées dans la même base de données.
2. La visualisation des données qui peut être exécutée de deux façons :
Configuration et utilisation de l'analyseur de journaux
3
- Par le visionneur des journaux
Ces requêtes sont effectuées à partir d'un outil graphique externe (ila.exe) qui permet
d'exécuter des requêtes prédéfinies ou des requêtes spécifiques sur la base de données
contenant les journaux importés. Cet outil peut s'exécuter sur n'importe quelle machine
capable d’accéder à la base de données des journaux.
- Par les messages de statistiques
Une synthèse prédéfinie peut être envoyée quotidiennement à un administrateur.
Voir la configuration et un exemple dans le paragraphe correspondant.
Importation des journaux
Configuration
L'analyseur de journaux fonctionne avec des bases de données suivantes : MS Access, MySQL, MS
SQL. MS Access n'est pas conseillé si les volumes sont importants.
Le système est prédéfini avec une base MS Access (…\icewarp\loganalyzer\loganalyzer.mdb) et peut
fonctionner de cette façon si la charge n'est pas trop importante (les journaux sont de petite taille).
Pour utiliser une autre base, il faut :

Installer le logiciel base de données (MS SQL ou MySQL)

Créer la base de données dédiée avec l’interface native du SGBD
Il n'y a pas besoin de créer les tables, elles seront crées automatiquement dès la première utilisation.
Sous Linux, il faut passer par un driver ODBC.
Pour que des données soient importées, il faut :

Que les journaux des services à analyser soient activés (afin d‘avoir des données brutes à
analyser) :
Système -> Services -> onglet Général -> mettre la colonne Journaux en mode Etendu.
Configuration et utilisation de l'analyseur de journaux

4
Activer l'analyseur de journaux
Etat -> Analyseur de journaux -> onglet Général -> Activer et sélectionner les journaux à traiter

Configurer l'accès à la base de données
Etat -> Analyseur de journaux -> onglet Général -> bouton "Paramètres BD..."
Indiquer le nom de la base, le nom/IP du serveur BD, le compte d'accès à la base et son mot de
passe. Voici un exemple pour MySQL :
Configuration et utilisation de l'analyseur de journaux

5
Définir les options d'importation
Dans Etat -> Analyseur de journaux -> onglet Général -> Options
L'option "Importer l'intégralité des données" permet d'importer, en plus des informations
nécessaires aux requêtes standards, toutes les autres informations. Ceci permet de définir des
requêtes spécifiques sur des données qui ne sont normalement pas importées mais augmente
sensiblement la taille du fichier d'importation et de la base.
Le champ "ID serveur" permet de donner un numéro à ce serveur ce qui permet de le
différencier des autres serveurs importés lorsque les données de plusieurs serveurs sont
mémorisées dans la même base de données.

Définir les options de maintenance
Etat -> Analyseur de journaux -> onglet Général -> Maintenance
Il est possible de vider les tables avant les importations (manuelles ou automatiques) ce qui limite
la mémorisation des données à une journée ou de supprimer les données au bout d'un certain
nombre de jours.
Il est possible de définir une séquence SQL qui sera lancée avant la suppression des données
(Cette option n’est possible que si l'option de suppression des données anciennes est activée).

Emettre des rapports de statistiques
Etat -> Analyseur de journaux -> onglet Statistiques
Cette option permet de recevoir par mail une synthèse des statistiques du système. Ce mail est
envoyé tous les jours aux adresses indiquées dans le champ "A". Plusieurs adresses de
messagerie peuvent être indiquées, séparées par des virgules. Un exemple de message envoyé
est donné à la fin de ce document.
Configuration et utilisation de l'analyseur de journaux
6
Importer les journaux dans la base de données
Les journaux sont importés :

Soit manuellement : aller dans Etat -> Analyseur de journaux -> onglet Général -> bouton
"Importer" et choisir une date dans le calendrier affichée. Le calendrier s'arrête à la date du jour.
Un message indiquant le lancement de l’action d’importation en tâche de fond s’affiche.
S’il s’agit de la toute première importation, c’est à ce moment que les tables sont crées dans la
base de données

Soit automatiquement tous les jours (entre 2h00 et 2h30).
Un journal d’importation est accessible dans Etat -> Journaux -> Analyseur de journaux.
La visualisation des journaux
Configuration du visionneur de journaux
Le visionneur peut être lancé :

Soit par la console d'administration (Analyseur de journaux -> onglet Général -> bouton
"Visionneur").

Soit en lançant directement l'application de l'analyseur : ila.exe (à recopier à partir du répertoire
loganalyzer d'IceWarp). Il peut être exécuté à distance, il suffit donc de télécharger la console
distante.
Il est possible de choisir la langue dans le menu Options -> Langues.
Configuration et utilisation de l'analyseur de journaux
7
Pour MySQL, il faut installer le driver ODBC (version 3.51 ou 5.1).
Pour configurer l'accès à la base de données, ouvrir le visionneur :
puis faire un clic droit et lancer "Modifier" sur le menu "Default" et modifier la configuration ou double
cliquer sur "nouvelle" pour créer un nouveau lien. On obtient la fenêtre suivante lorsque le driver
MySQL ODBC est choisi :
Il faut alors rentrer les paramètres de la base de données : serveur, nom de la base, utilisateur et mot
de passe.
Une nouvelle base apparaît dans le menu "Connexion base de données".
Configuration et utilisation de l'analyseur de journaux
8
Options sur les domaines locaux
L'analyseur permet d'avoir des statistiques sur les messages qui sont émis et reçus par domaine. Il est
possible de restreindre ces statistiques aux domaines locaux (option "uniquement le domaine
local") mais il faut pour cela que le système les connaisse.
Options -> Paramètres ouvre la fenêtre sur les domaines locaux :
Les options sont les suivantes :
aucun : le système ne fait pas la différence entre les domaines locaux et les autres, les statistiques
sont quand même exploitables.
API : si l'analyseur est lancé sous le répertoire de IceWarp, cette solution est la plus simple mais elle
ne fonctionne que dans ce cas.
URL : c'est une page web qui retourne la liste des domaines. C'est la meilleure solution, après la
précédente, car la liste est unique et peut être mise à jour facilement.
Fichier : C'est un fichier ascii qui contient la liste des domaines (un par ligne). Le serveur IceWarp
contient un outil qui permet de créer automatiquement cette liste, i faut se placer dans l'invite de
commande Windows dans le répertoire principal d'IceWarp et lancer :
tool.exe export domain * > file_list.txt
Configuration et utilisation de l'analyseur de journaux
9
Visualisation des statistiques
Pour visualiser les données, il faut alors :
-
Sélectionner la base de données dans le menu "Database connections" puis double cliquer
dessus (elle doit apparaître en gras)
-
Sélectionner le menu que l'on souhaite visualiser par un double clic
-
Cliquer sur le bouton
pour actualiser les données (ce bouton doit être utilisé à chaque fois
qu'un nouveau menu est sélectionné) et ouvrir une nouvelle fenêtre.
On obtient alors par exemple avec le menu Global :
Configuration et utilisation de l'analyseur de journaux
10
Les catégories suivantes sont associées à chaque message :
ANA
Message refusé : Accès non autorisé
AS
Message refusé : Anti spam
AV
Message refusé : Anti Virus
CA
Message transmis à une adresse collectrice
CNC
La session client SMTP a échoué (connexion impossible)
DBF
Message supprimé par un filtre
DNSBL
La session a été refusée parce que l'adresse de l'émetteur est en liste noire
ERROR
Message refusé à cause d'une erreur inconnue (domaine sans adresse ou sans rDNS)
GRLST
Message refusé par la liste grise
INCPLT
Session incomplète
MS
Taille du message
OK
Message transmis correctement
SCAN
Une connexion a été établie mais aucun message transmis
SDME
Message refusé : le domaine de l'émetteur n'existe pas
TARP
Message refusé par le mécanisme de prévention des intrusions
TIMEOUT
Déclenchement d'une temporisation pendant une session
UNK
Message refusé : le destinataire est inconnu
WDNR
Message refusé : le relayage est interdit
Exemple de recherche des messages émis par une adresse mail :
Configuration et utilisation de l'analyseur de journaux
11
Visualisation du calendrier indiquant les données présentes dans la base (double cliquer sur le
menu Calendrier) :
Configuration et utilisation de l'analyseur de journaux
Message de statistiques
Ce message est configuré dans l'onglet Statistiques du menu Analyseur de journaux :
Voici un exemple de message obtenu lorsque la synthèse porte sur une seule journée :
Loganalyzer Statistics for server main
(processed at 01:21:28 23/08/2010)
SMTP - Messages received
SMTP - Messages sent
SMTP - Incoming messages
SMTP - Outgoing messages
SMTP - Most Active Recipient's Domains
SMTP - Most Active Recipient's Domains
SMTP - Most Active Sender's Domains
SMTP - Most Active Sender's Users
SMTP - Results
POP3 - log rows
POP3 - Most Active IPs
POP3 - Most Active By Connections
POP3 - Most Active By Size
POP3 - Top 20 mailboxes by size
POP3 - Result
Antispam - log rows
Antispam - log rows by action
Antispam - log rows by components
Antivirus - log rows
SMTP - Messages received
Number of messages received in the last 7 days.
Date
22/08/2010
Count
1422
Accepted
17
Rejected
1405
SMTP - Messages sent
Number of messages sent in the last 7 days.
12
Configuration et utilisation de l'analyseur de journaux
Date
22/08/2010
Count
5
Accepted
5
Rejected
0
SMTP - Incoming messages
Number of incoming messages (top 20 IP)
IP
60.166.96.240
202.188.29.91
94.215.14.57
82.224.20.207
41.220.237.90
178.175.114.48
82.42.224.156
77.36.96.43
127.0.0.1
118.71.145.117
123.237.204.13
188.51.78.22
66.43.62.8
79.175.170.13
117.199.182.44
117.194.225.9
86.152.174.234
188.62.207.120
85.54.184.226
41.178.113.165
Count
104
30
18
16
15
10
9
8
8
7
7
6
6
6
5
5
5
5
5
5
Accepted
0
0
0
0
0
0
0
0
8
0
0
0
3
0
0
0
0
0
0
0
Rejected
104
30
18
16
15
10
9
8
0
7
7
6
3
6
5
5
5
5
5
5
SMTP - Outgoing messages
Number of outgoing messages (top 20 IP)
IP
93.17.128.85
93.17.128.5
127.0.0.1
93.17.128.14
Count
2
1
1
1
Accepted
2
1
1
1
Rejected
0
0
0
0
SMTP - Most Active Recipient's Domains
Number of mails received for Top 20 recipient's domains.
Domain
any78.org
laberverie.com
yahoo.com
talkingmedicine.com
ymcachgo.org
firstteamhonda.com
marklehman.com
go2delphi.com
farrington.com
scottiescanvas.com
kyoshoku-c.co.jp
in.ngb.army.mil
vinc3nt.com
hartonsa.com
datastrip.net
boersemabv.nl
iceusa.com
evrotex.com
ecornell.com
dambrewery.com
SMTP - Most Active Recipient's Domains
Count
712
282
60
45
9
6
6
6
6
5
3
3
3
3
3
3
3
3
3
3
Accepted
1
4
0
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
Rejected
711
278
60
41
9
6
6
6
6
5
3
3
3
3
3
3
3
3
3
3
13
Configuration et utilisation de l'analyseur de journaux
Number of mails sent for Top 20 recipient's domains.
Domain
mennesson
darnis.com
neuf.fr
english-talking-medicine.com
lpo.fr
Count
1
1
1
1
1
SMTP - Most Active Sender's Domains
Number of mails processed for Top 20 sender's domains.
Count
145
81
25
16
13
12
10
10
10
10
10
10
9
9
8
8
8
8
7
7
Domain
any78.org
laberverie.com
comcast.net
talkingmedicine.com
btcentralplus.com
rr.com
recoil.com
roweholdings.com
research-insight.com
rautaruukki.com
mailpride.com
rouit.com
arcor-ip.net
virginmedia.com
fpt.vn
charter.com
mashable.com
telesp.net.br
t-ipconnect.de
jalopnik.com
SMTP - Most Active Sender's Users
Count
2
2
1
1
Domain
[email protected]
[email protected]
cobian@mennesson
[email protected]
SMTP - Results
Count
660
426
239
50
22
13
9
6
2
RESULT
TARP
ERROR
ANA
SCAN
OK
UNK
GRLST
WDNR
INCPLT
Tarpitting
Generic Error
Access Not Allowed
Port Scan
OK
User Unknown
Greylisting (temporary error)
We Do Not Relay
Incomplete Session
POP3 - log rows
Count Date
437 22/08/2010
POP3 - Most Active IPs
Count IP
40 93.17.128.8
8.128.17-93.rev.gaoland.net
Accepted
1
1
1
1
1
Rejected
0
0
0
0
0
14
Configuration et utilisation de l'analyseur de journaux
38
38
37
35
35
30
29
28
28
24
24
23
23
2
1
193.252.22.56
93.17.128.17
193.252.23.65
80.12.242.149
93.17.128.87
93.17.128.26
193.252.22.90
80.12.242.143
80.12.242.51
80.12.242.8
80.12.242.60
80.12.242.90
80.12.242.14
81.88.48.101
213.186.33.20
pop.orange.fr
17.128.17-93.rev.gaoland.net
pop.orange.fr
87.128.17-93.rev.gaoland.net
26.128.17-93.rev.gaoland.net
pop.orange.fr
pop.orange.fr
pop.orange.fr
pop.orange.fr
pop.orange.fr
pop.orange.fr
pop.orange.fr
massenet.register.it
ns0.ovh.net
POP3 - Most Active By Connections
Count
142
142
141
6
1
1
1
1
Account
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
POP3 - Most Active By Size
Top 20 account with largest POP3 traffic
Size [MB]
,000
,000
,000
,000
,000
,000
,000
,000
Account
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
POP3 - Top 20 mailboxes by size
Top 20 mailboxes with largest disk space occupation
Size [MB]
,004
,000
,000
,000
,000
,000
,000
,000
Account
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
POP3 - Result
Count
437 OK
Antispam - log rows
Count Date
36 22/08/2010
OK
15
Configuration et utilisation de l'analyseur de journaux
Antispam - log rows by action
Count
18
16
2
Action
NONE
DELETE
SPAM
Antispam - log rows by components
Count Components
1 BODY, SPAMASSASSIN,
1 BAYES, SPAMASSASSIN,
Antivirus - log rows
Count Date
89 22/08/2010
16