Guide d`Estimation Volumétrique des Logs - Net Report

Transcription

Network & Security Intelligence | Document
The Versatile BI Solution!
Guide d’Estimation Volumétrique des Logs
Ou comment estimer un volume de log
Dans ce document, nous allons étudier les méthodes pour évaluer le volume de ligne de log d’un client.
Pour toutes questions sur ce document, ou aide pour les estimations volumétriques, contacter :
Benoît Rostagni
Tel: +33 1 79 71 84 22
GSM: +33 6 82 88 94 17
email: [email protected]
Contact us: E-mail: [email protected] Tél: +33 (0)6 71 99 86 60
Sales Office: 98, route de la Reine - 92100 Boulogne-Bt, France.
To contact your nearest Click&DECiDE partner, click here.
www.clickndecide.com
Sommaire
1.
Règles générales ........................................................................................................................................ 3
1.1.
2.
3.
4.
5.
Calculs génériques. ............................................................................................................................ 3
Proxy ........................................................................................................................................................... 3
2.1.
Le client possède des équipements Proxy en place ........................................................................... 3
2.2.
Le client ne possède pas encore d’équipement Proxy........................................................................ 4
Firewall ........................................................................................................................................................ 4
3.1.
Le client possède des équipements firewall en place ......................................................................... 4
3.2.
Le client ne possède pas de firewall ................................................................................................... 4
Server et/ou Relais de Messagerie Sécurisés ............................................................................................. 5
4.1.
Le client possède des équipements Messagerie en place .................................................................. 5
4.2.
Le client ne possède pas encore d’équipement Messagerie .............................................................. 5
4.2.1.
Serveur de messagerie mono ligne ............................................................................................ 5
4.2.1.
Relais de messagerie multi-ligne non sécurisé ........................................................................... 5
4.2.1.
Relais de messagerie multi-ligne sécurisé .................................................................................. 5
Serveurs systèmes ...................................................................................................................................... 6
5.1.
Serveurs Windows .............................................................................................................................. 6
5.2.
Serveurs Unix/Linux............................................................................................................................ 6
6.
Conclusion .................................................................................................................................................. 6
7.
Exemples .................................................................................................................................................... 7
7.1.
Cas #1 : Une entreprise de 500 personnes ........................................................................................ 7
7.2.
Cas #2 : Une collectivité de 100 personnes ........................................................................................ 7
7.3.
Cas #3 : Une entreprise de 5000 personnes ...................................................................................... 8
7.4.
Cas #4 : Une multinationale................................................................................................................ 9
2
1. Règles générales
Les calculs les plus exacts ne peuvent se baser que sur la réalité constatée de 2 chiffres : un nombre de
lignes de log moyen et un nombre maximum sur une même période de temps (une journée). Si possible, ce
sont ces éléments-là qu’il faut communiquer.
Tous les autres calculs donnés ci-dessous ne sont que des estimations qu’il faut confirmer par une mesure
réelle en situation. Ils sont basés sur des constatations « empiriques », et des moyennes d’un usage
« normal » de l’utilisation des outils supervisés.
Il est important que dans tous les cas, un client se pose la question du « pourquoi je logge » et « quelles sont
les informations que je désire voir dans les logs que je demande à analyser » et enfin, « l’information est-elle
présente dans les logs » pour permettre d’avoir les indicateurs voulus.
Ce qui veut dire aussi, que dans le cadre d’une analyse de logs efficace, et en particulier pour les Firewall et
les systèmes (Windows, unix(s)…), il est recommandé de mettre en place une politique de logs cohérente
avec les objectifs, et de ne pas systématiquement « tout » logger.
1.1.
Calculs génériques.
Une estimation simple et directe peut être faite sur la base des deux règles suivantes :
Volume Total de Log sur l’accès Internet
=
40% de log de Pare Feu
+
40% de log Proxy
+
20% autres logs (IDS + Anti-X + messagerie + …)
et
1000 utilisateurs génèrent 1 million de lignes de log par jour sur un firewall
Ce calcul permet donc d’avoir, à partir d’une des données, une estimation globale du volume.
2. Proxy
2.1.
Le client possède des équipements Proxy en place
Sur un proxy, il y a le plus souvent des fichiers de log disponibles et archivés sur le proxy lui-même,
accessibles en partage de fichier ou en FTP. Il faut prendre le plus gros fichier de logs disponible sur les
derniers jours. S’il est comprimé (Gzip), on le décomprime avant de compter.
On compte les lignes ou on prend comme hypothèse qu’une ligne de log d’un proxy vaut 500 octets
Exemple :
Un fichier de log journalier de 1 Giga Octets donnera environ 2,1 millions de lignes de logs.
3
2.2.
Le client ne possède pas encore d’équipement Proxy
Le volume de logs dépend de l’utilisation de l’internet par l’entreprise. Si l’entreprise est une entreprise qui
consomme beaucoup d’internet, le nombre de lignes sera plus important.
Exemple :

Une entreprise industrielle de 1000 postes fera en moyenne 500 hits par personne soit
500.000 lignes de logs par jour.

Une entreprise de service de 1000 postes fera en moyenne 1000 hits par personne soit
1.000.000 lignes de logs par jour.

Une entreprise de l’internet de 1000 postes fera en moyenne 2000 hits par personne soit
3. Firewall
3.1.
Le client possède des équipements firewall en place
En fonction de la marque des firewalls, on peut parfois trouver des fichiers de logs stockés sur le firewall. Il
faut éventuellement aussi les déchiffrer et parfois les exporter sous forme de fichiers à plat.
On compte les lignes ou on prend comme hypothèse qu’une ligne de log d’un firewall vaut 333 octets
Exemple :
Un fichier de logs journalier de 100 Méga Octets donnera environ 315.000 lignes de logs.
Le firewall en place n’émet que des logs en syslog. Le plus simple est de monter un « Syslog trace » sur un
PC / Serveur qui va écrire un fichier par jour, puis on est de nouveau dans l’hypothèse précédente du
comptage des lignes
3.2.
Le client ne possède pas de firewall
Le volume de logs dépend de l’utilisation de l’internet par l’entreprise. Si l’entreprise est une entreprise qui
consomme beaucoup d’internet, qui est multi site, le nombre de lignes générées sera plus important.
La politique de logs est aussi un facteur important, entre une politique qui trace tout sans distinction d’intérêt,
et une politique qui trace les informations sensibles (risques en entrée, contrôle des sorties) et évite les
doublons (firewall + proxy par exemple).
Exemple :

Une entreprise industrielle de 1000 postes fera en moyenne 500 lignes de log par personne
soit 500.000 lignes de logs par jour.

Une entreprise de service de 1000 postes fera en moyenne 1000 hits par personne soit

Une entreprise de l’internet de 1000 postes fera en moyenne 2000 hits par personne soit
4
4. Server et/ou Relais de Messagerie Sécurisés
Un postulat de base à prendre en compte est le type de logs générés par les Messagerie ou Relais de
Messagerie Sécurisés. Il existe deux types de log :


Le log mono ligne comme par exemple celui d’Exchange…
Le log multi-ligne comme par exemple celui d’IronPort ou de postfix…
4.1.
Le client possède des équipements Messagerie en place
Sur les systèmes de messagerie, il y a le plus souvent des fichiers de logs disponibles et archivés sur le
serveur ou relais de messagerie lui-même, accessibles en partage de fichier ou en FTP. Il faut prendre le plus
gros fichier de logs disponible sur les derniers jours.
Les fichiers de messagerie ou de relais n’étant en général pas trop gros, il est facile de les ouvrir et de
compter les lignes, par exemple avec des outils comme Notepad++.
4.2.
Le client ne possède pas encore d’équipement Messagerie
4.2.1. Serveur de messagerie mono ligne
On estime à environ 20 emails par jour en moyenne, le volume moyen des messages reçus et émis par les
employés d’une société.
Une entreprise de 1000 postes fera en moyenne 20.000 lignes de logs par jour sur un serveur
Exchange.
Cette estimation prend en compte le postulat que les SPAM ne sont pas reçus par cette société.
4.2.1. Relais de messagerie multi-ligne non sécurisé
On estime à environ à 5 lignes de log par email, le nombre de lignes à analyser. Avec environ 20 emails par
jour en moyenne, le volume moyen des messages reçus et émis par les employés d’une société, nous
avons :
Une entreprise de 1000 postes fera en moyenne 100.000 lignes de logs par jour sur un serveur
Postfix.
Cette estimation prend en compte le postulat que les SPAM ne sont pas reçus par cette société.
4.2.1. Relais de messagerie multi-ligne sécurisé
En prenant en compte le fait que ce relais sert à supprimer le spam et que le spam correspond à 80% du
trafic de mails mondial, si l’entreprise traite 20 emails « utiles » par jour et par personne, son relais de
messagerie traite 80 spam.
On estime à environ à 15 lignes de log par email, le nombre de lignes à analyser, tout type de mail confondu.
Une entreprise de 1000 postes fera en moyenne 1.500.000 lignes de logs par jour sur un serveur
IronPort-C.
Ce volume peut néanmoins être fortement abaissé, si l’entreprise est moins sujette au SPAM que d’autres.
5
5. Serveurs systèmes
Il existe deux catégories de serveurs systèmes : Windows & Unix. Les serveurs Windows gèrent leurs logs en
WMI via du WQL, les serveurs Unix via syslog
5.1.
Serveurs Windows
Sur un serveur Windows, le plus simple est de regarder l’Event Viewer
Pour chacun des logs suivants :



Application
Security
System
Regardez le nombre d’évènements, les dates du premier et du dernier évènement.
Une simple règle de trois permet d’avoir le volume par jour moyen.
Exemple :
-
Number of Events
First Date
Last Date
Average per day
Application
47053
12/04/2010 14h
10/04/2010 15h
15684
Security
50674
12/04/2010
03/04/2010
5630
System
30900
12/04/2010
06/11/2007
Total
35
21349
Ce total peut être éventuellement modifié si vous mettez en place des Stratégies d’Audit Windows ou si vous
décidez de ne contrôler que les Login/Logoff, la gestion des droits utilisateurs et les incidents sur les services
– par exemple.
5.2.
Serveurs Unix/Linux
Les informations en provenance des serveurs Unix / Linux sont en général envoyés sous forme de flux
syslog.
C’est en fonction des types d’information que l’administrateur du système envoie en syslog, que l’on connaît
le volume.
Il est possible, comme pour les firewalls, de monter un « Syslog trace » sur un PC / Serveur qui va écrire un
fichier par jour, puis de compter les lignes
Un exemple dans le cas #4 est affiché.
6. Conclusion
Click&DECiDE travaille en mode nombre de lignes de log, comme la plupart de nos confrères.
C’est un choix qui s’explique simplement car cela correspond à la valeur des services rendus : traiter,
analyser, archiver, investiguer dans un volume de logs transmis et stockés.
6
7. Exemples
7.1.
Cas #1 : Une entreprise de 500 personnes
Situation : une entreprise de 500 personnes veut disposer d’un ensemble de tableaux de bord, pour
superviser sa sécurité et piloter l’évolution de son trafic internet sur 2 ans : elle souhaite ainsi disposer de
prévisionnels.
Il est demandé en outre de prévoir le stockage légal des logs sur un an, et l’accès aux données journalières
sur 3 mois.
Equipements choisis devant être installés ou déjà présents.
 Un firewall Fortinet
 Un proxy IronPort-S
 Un analyseur de messagerie IronPort-C
 Un serveur de mails Exchange
 Un contrôleur de domaines Microsoft
Etude volumétrique :
500 personnes
Volume de
lignes par jour
Firewall Fortinet
500 000
Proxy IronPort-S
500 000
Relay IronPort-C
225 000
Serveur de mail Exchange
7 500
Contrôleur de domaine
Microsoft
50 000
Total
Commentaires
Stratégie de logs en place pour ne logger
que le nécessaire
Contrôle complet pour éviter les abus
Peu de spam actuellement : 1 mail sur
deux "seulement"
Comptabilisé sur les fichiers actuels
Comptabilisé Uniquement les
Logins/Logoff et changements sur l'AD
1 282 500
L’étude volumétrique donne une moyenne de 1.300.000 lignes de log à analyser par jour.
Le choix logiciel porte sur une solution à 2 millions de lignes de lignes de log, permettant d’absorber une
hausse de ce volume sur les mois à venir, voire de rajouter des équipements sans surcoût.
Le matériel choisi est une Appliance #1 Click&DECiDE, ou un serveur équivalent.
7.2.
Cas #2 : Une collectivité de 100 personnes
Situation : une collectivité de 100 personnes veut disposer d’un ensemble de tableaux de bord pour
superviser sa sécurité et piloter son infrastructure interne et externe.
Il est demandé en outre de prévoir le stockage légal des logs sur un an et l’accès aux données journalières
sur 3 mois.
7
Equipements choisi devant être installés ou déjà présents.
 Un UTM Fortinet, Arkoon, NetAsq, Juniper….
 Un serveur de mails Exchange
 Un contrôleur de domaines Microsoft
100 personnes
Volume de
lignes par jour
UTM
200 000
Serveur de mail Exchange
1 500
Contrôleur de domaine
Microsoft
10 000
Total
211 500
Commentaires
Le volume de logs est double car les
informations sont Proxy + Firewall
Comptabilisé sur les fichiers actuels
Comptabilisé. Uniquement les
Logins/Logoff et changements sur l'AD
L’étude volumétrique donne une moyenne de 220.000 lignes de log à analyser par jour.
Le choix logiciel porte sur une solution à 250.000 lignes de lignes de log.
La solution matérielle choisie est une installation dans une VMware avec une mise à disposition d’un
maximum de 100 Go de Disque, 3 Go de Ram et deux processeurs, ou un serveur équivalent.
7.3.
Cas #3 : Une entreprise de 5000 personnes
Situation : une entreprise de 5000 personnes veut contrôler l’usage de son proxy d’accès à Internet, disposer
d’un ensemble d’outils d’investigation à court, moyen et long terme, et superviser les abus, en particulier
pendant les périodes de forte activité – jeux olympiques, coupe du monde, etc.
Il est demandé en outre de prévoir le stockage légal des logs sur un an.
La solution « constructeur » ne donne pas satisfaction, et il est demandé de la remplacer.
Equipements déjà présents.
 Un Proxy IronPort-S ou Bluecoat
5000 personnes
Volume de
lignes par jour
Proxy IronPort-S
6 000 000
Total
6 000 000
Commentaires
Comptabilisation des logs actuels
L’étude volumétrique donne une moyenne de 600.000 lignes de logs à analyser par jour.
8
Le choix logiciel porte sur une solution à 7.500.000 lignes de lignes de log mais comme il n’y a qu’un type
d’équipement d’un constructeur, la solution est une option « Solo » qui peut diminuer le prix public jusqu’à
60% du prix initial.
Le matériel choisi est une Appliance #1 Click&DECiDE, ou un serveur équivalent.
7.4.
Cas #4 : Une multinationale
Situation : une multinationale a déployé son infrastructure sur de nombreux sites, et souhaite analyser les
données d’un ensemble de périphériques du cœur de réseau, de serveurs critiques, et d’outils de sécurité ;
elle souhaite de plus bénéficier d’un outil technique pour sa mise en conformité SOX et PCI-DSS.
Il est demandé en outre de prévoir le stockage légal des logs sur 6 mois.
Equipements dont les logs sont à analyser :
 300 serveurs Windows
 50 serveurs AIX
 100 Firewall ASA et PIX
 1500 Routers & 1000 Switches
 1000 accélérateurs de trafic Juniper
Type
Windows
AIX
Cisco PIX
Cisco ASA
Cisco (Routers & Switches)
Juniper WXC
Total
Nombre de
serveurs
300
50
40
60
2 700
1 000
4 150
Volume de
Par Serveur
lignes par jour
32 000 000
106 667
3 100 000
62 000
22 000 000
550 000
16 000 000
266 667
2 500 000
926
6 000 000
6 000
81 600 000
19 663
L’étude volumétrique impose une architecture à 3 couples de machines, de type Appliance #1
Click&DECiDE.



Le couple #1 traitera les logs Windows,
Le couple #2 traitera les logs Cisco PIX & ASA
Le couple #3 traitera les autres logs, AIX, Routeurs & Switches, Juniper WXC et servira de plateforme
centralisatrice de l’accès Web.
La solution en couples spécialisés a été choisie pour absorber une montée en charge des volumes sur les 5
années à venir.
9

Guide d`Estimation Volumétrique des Logs - Net Report

Transcription

Documents pareils

Akab2: AS-LS

Log Analyzer for Unified Communications

WINDOWS XP - Désactiver le centre de sécurité

Analyse Forensic et réponse à incidents de sécurité

Analyse des LOG des FW

Objectifs - Actes du SSTIC

l`utilisation d`Internet

Télécharger NOTE-DE-JURISPRUDENCE-FEVRIER

Préconisation Réseau Etablissement Privé

WD Loupe Permet de zoomer une partie de l`écran grâce à