Disque dur, SSD, etc.

I/O, Infos et outils disque (disque dur, SSD)

Articles / infos
SSD
I/O
Optimisation

Paramètres noyau ^
NCQ
Alignement et taille de secteur

Tests / perf - benchmarks ^
Fichiers, systèmes de fichiers ^

UUID
Debug - récolte d'infos
Commandes
Effacement
Outils
Vérif
Partitions, MBR, GPT, commandes (fdisk, etc.)
Erreurs et pannes disque - gestion d'erreur (SMART, etc.)
RAID

Articles / infos

Wikipédia

Disque dur, SSD
Baie de stockage (3 types : SAN, NAS, virtualisation), disk_array_controller, LUN
Comparaison DAS, NAS, SAN

Linux home networking : Expanding Disk Capacity
StorageMojo (data storage & analysis)
Hardware.fr : disques durs, SSD
serialata.org

SSD

Articles SSD

Performances

En accès aléatoire (random IO), un disque SSD est beaucoup plus performant en temps d'accès qu'un disque dur (qui doit physiquement déplacer le bras de la tête de lecture/écriture), donc le débit I/O du SSD est supérieur.
En accès séquentiel (lecture, écriture), les débits I/O d'un disque dur sont très bons.
Exemples de temps d'accès aléatoire :

RAM : 60 ns
SSD : 100 us
Disque dur : 5 ms

Optimiser pour les SSD

D'après cet article sur SSD et automatic TRIM, utiliser le système de fichiers ext4 et l'option de mount discard.
Dans le BIOS, configurer le contrôleur SATA en mode AHCI
Outils : SSD Tweaker, Tweak-SSD

Notes

Ne défragmenter un SSD que s'il contient de gros fichiers très fragmentés (ex: fichiers vidéos).
Certains disques durs dits "hybrides" comprennent une partie plateaux et une partie SSD, ils ne sont pas utilisables en RAID. XP ne gère pas la partie SSD

Systèmes de fichiers

mes infos et liens

Fichiers

Sous GNU/Linux, pour obtenir des infos détaillées sur un fichier (permissions, inode, etc.)

# stat le_fichier

I/O

I/O scheduler

Commandes

Par exemple, durant cette activité de lecture : dd if=/dev/sda3 of=/dev/null bs=64k, ou durant cette activité d'écriture : dd if=/dev/urandom of=/tmp/test-dd

# vmstat 1 (les colonnes bi & bo indiquent dynamiquement les I/O)
# iotop (indique dynamiquement les processus qui utilisent le plus d'I/O)
# iostat -ktd 2 (du package sysstat, voir aussi collectl, dstat et systemtap), pour les graphes : iostat_plotter (article)
pidstat (du package sysstat

Affichage des I/O à l'instant t : # pidstat -d
Affichage, à chaque seconde, des + gros consommateurs d'I/O : # pidstat -d 1

blktrace (man) : Linux kernel (2.6) block layer & scheduler IO tracing mechanism

Fournit des données brutes, on peut analyser ces traces avec blkparse ou/et btt (installés par le paquet blktrace), et les afficher sous forme de graphe par btt, gnuplot, Grace, etc.
Le shell-script btrace pipe blktrace dans blkparse de cette manière-là : blktrace -d /dev/sda -o - | blkparse -i -
Docs : man et tutos dans /usr/share/doc/blktrace
Tuto : Linux 2.6 IO Performance Analysis, Quantification, and Optimization

Outils

iotop (articles) - affiche les process les plus gourmands en I/O.

Nécessite que "Enable per-task storage I/O Accounting" (CONFIG_TASK_IO_ACCOUNTING) soit activé au niveau du noyau.
Exemple : # iotop -o

iopp (articles) - infos I/O par process

Notes - à l'install du paquet sysstat, sont affichés les commentaires suivants :

Creating config file /etc/default/sysstat with new version.
Update-alternatives: utilisation de « /usr/bin/sar.sysstat » pour fournir « /usr/bin/sar » (sar) en mode automatique.

Extend

Dans les systèmes de fichiers récents (ext3, ext4, xfs, etc.), un "extra extent" est ajouté automatiquement au fichier, ce qui permet d'éviter une future fragmentation. Par exemple, si je crée un fichier de 10 Ko, quelques Ko seront réservés en plus sur le disque pour une extension future du fichier. Cette pré-allocation cause un flux d'I/O plus important.

Voir aussi une option de mount sur ce sujet.

Optimisation, tests - benchmarks

Paramètres noyau

NCQ

NCQ est activé nativement si le contrôleur SATA est en mode AHCI

Alignement et taille de secteur

A l'origine la taille des secteurs (bloc) d'un disque dur (physical sector) était de 512 octets. Fin 2009, sur certains "gros" disques durs (1 To, Advanced Format drive) est apparue une taille de secteur de 4096 octets (4 Ko, 8 x 512 octets).

Note : pour les anciens s.e., le firmware de ces disques émule une taille de secteur de 512 octets (logical sector).

Vérif

dans /sys/block/sda/queue : physical_block_size et logical_block_size

Avantages liés au 4 Ko

Les microprocesseurs de la famille x86 ont une page mémoire (pagesize) de 4 Ko.
Certains système de fichiers utilisent une taille de cluster de 4 Ko par défaut.

Performances

Les système de fichiers ext3, HFS+, NTFS, etc. utilisent par défaut la taille de cluster de 4 Ko ; donc passer d'une taille de secteur de 512 octets à 4 Ko peut grandement améliorer les performances, dans ce cas un seul I/O sur un cluster suffit pour 4 Ko de données.

Problème : l'alignement de partition peut impacter les performances, suivant le système de fichiers utilisé.

GNU/Linux est affecté, suivant le fs utilisé. Windows 5.x (XP, 2K, 2K3) l'est aussi, de plus sa 1ère partition commence à la LBA 63, or l'alignement se fait à la LBA 64 ; sur les d. durs WD un cavalier résoud ce problème, mais cette solution n'est pas valable en cas de partitions multiples, dans ce cas partitionner avec un outil GNU/Linux ou installer d'abord Windows 7.
En cas de partitionnement multiple (multi-s.e. p.ex.), aligner les débuts de partitions sur des multiples de 8 cylindres. Pour vérifier un partitionnement, diviser par 8 les valeurs affichées.
Pour afficher en nb de secteurs (au lieu d'afficher en nb de cylindres) :

dans fdisk : option 'u' (et, pour lister : # fdisk -ul)
# parted -a optimal /dev/sda

(parted) unit s (s=sector, MB=mégabytes, MiB=Mébibytes)
(parted) print

Article synthétisant tout cela et comparant les perf. de différents systèmes de fichiers avec des partitions non alignées (Reiserfs, ext3fs, Jfs et Btrfs étant les + impactés)

Tests, performance, benchmarks

Optimisation / configuration

$ sudo blockdev --setra 4096 /dev/sda (porte la taille du buffer read-ahead à 4k)

Cette commande peut être utilisée à partir du noyau Linux 2.6. Autre possibilité : hdparm.

UUID (volume ID)

UUID & label : Archlinux, Linuxpedia
Tutoriel ***

utilisation (fstab, grub.cfg, mise en veille)
pbs en cas de clonage ou de sauvegarde par image disque

Commandes

# ls -l /dev/disk/by-id
# vol_id /dev/hd0 (affiche le type de système de fichiers, l'UUID, etc.)
# vol_id /dev/cciss/c0d0p2

Debug - récolte d'infos

Shell-scripts	Info
simple_diskinfo.sh	Affiche, par disque présent, le numéro de série, et - par la commande smartctl - les erreurs SMART suivantes: 1(Raw_Read_Error_Rate), 5(Reallocated_Sector_Count), 187(Reported_Uncorrectable_Errors), 188(Command_Timeout), 196(Reallocated_Event_Count), 197(Current_Pending_Sector_Count), et 198(Offline_Uncorrectable).
smart_diskinfo.sh	Affiche, par disque présent, le nombre de secteurs réalloués, la t°, UDMA CRC errors, raw read error rate, seek error rate, et Load Cycle Count.

Commandes / Fichiers	Info
# lshw -class disk	Liste les périphériques de type disque.
# blkid /dev/sda3 # vol_id /dev/hd0 # fsck -N /dev/sdb2	Indique l'UUID et le type de fs (système de fichiers) de la partition. Indique l'UUID et le type de fs de la partition. Donne une idée du type de fs de la partition (autres cmd).
# hwinfo --partition Fichier /etc/fstab (infos)	Infos sur les partitions.
# blockdev --report /dev/sda blockdev permet également de configurer un disque.	Infos sur les disques, blockdev est utilisable à partir du noyau Linux 2.6, sinon utiliser hdparm. # blockdev --report /dev/sda (exemple, pour un d. dur de 1 To) RO RA SSZ BSZ 1er sect. Taille Périphérique rw 256 512 512 0 1000200658432 /dev/sda
# hdparm -i /dev/sda # hdparm -I /dev/sda	Infos sur les disques, hdparm permet également de les configurer ou de les tester.
# smartctl
# hddtemp hddtemp -d /dev/hda nc 127.0.0.1 7634	Supervise la temperature des disques durs. Note : hddtemp doit être installé au préalable.
# watch -n5 -d df	Voir l'évolution de la place disque disponible.
# nfsstat -m /lemontage	Indique les infos NFS (version de NFS utilisée, etc.).
Autres commandes Commandes SCSI
Note : à partir du noyau Linux 2.6.19, la libata et "/dev/sdxy" sont utilisés pour les d. durs sata et pata (IDE), "/dev/hdxy" n'est plus utilisé ; auparavant hd[a-t] était utilisé pour les devices IDE/ATA et sd[a-z] pour les périphériques SCSI.

Commandes

# df -h (ou : df) - affiche la place occupée/libre au niveau des partitions.

$ bdf -i (statistiques)

$ stat (infos sur un fichier, ou sur un fs avec l'option -f ou --format)

$ stat /tmp
$ stat -f /tmp ; stat --format=%a /tmp ; stat --format=%o /tmp

dd : copie physique, par octets

Infos : Wikipédia | Wikipedia
Exemple : sauver une zone amorce (MBR) avant manips de type GRUB

# dd if=/dev/sda of=leMBR bs=446 count=1

sauvegarde du MBR (utiliser 512 à la place de 446 pour sauver également la table des partitions)

# dd if=leMBR of=/dev/sda bs=446 count=1

restauration du MBR sans toucher à la table des partitions.

Exemple : écraser une zone amorce (MBR)

# dd if=/dev/zero of=/dev/sda bs=446 count=1
écrase le MBR mais préserve la table des partitions.
# dd if=/dev/zero of=/dev/sda bs=512 count=1
écrase le MBR et remet à zéro la table des partitions.
Note : Remplacer "sda" par le device du disque à réparer (à voir par la commande GNU/Linux : $ sudo fdisk -l).

hexdump
mount
SCSI

Commandes

$ lsscsi

Outils du paquet scsitools...scsiinfo permet de récolter des infos et de modifier certains paramètres.

# scsiinfo -l ; scsiinfo -i /dev/sda
# rescan-scsi-bus (etc.)

Détection et configuration d'un nouveau LUN

echo "- - -" > /sys/class/scsi_host/hostn/scan (- - - ou : bus target LUN)

Tutos

Opérations SCSI volumes SAN (Ajout d’un nouveau disque à chaud, etc.)
Re-scan the SCSI bus
Release notes RHEL/CENTOS

Effacement

Utilisation par hdparm de la commande ATA Secure Erase
Securely erasing frozen hard disks with hdparm
Securely erasing SSD drives

hdparm est exécutable sous GNU/Linux (après boot Linux ou boot sur CD Linux)

Forum : Can wiped SSD data be recovered?

Outils

Récupération de données (ddrescue, etc).
pysdm (storage device manager) : GUI pour configurer fstab et udev

permet par exemple d'autoriser facilement les utilisateurs autres que root à écrire sur un disque externe ext3.

Vérif

Outils

GSmartControl (sur GitHub) : GUI pour smartctl
smartctl : commande du logiciel smartmontools (S.M.A.R.T. Monitoring Tools), permet d'interagir avec les données S.M.A.R.T. des disques (vérif., tests).

Articles : Surveiller ses disques, encore + à l'écoute, smartctl et smartd, parcage des têtes de lecture et gestion d'énergie

Ex Windows

"C:\Program Files\smartmontools\bin\runcmdu.exe" smartctl -i sdb -P show (affiche le modèle de disque)
"C:\Program Files\smartmontools\bin\runcmdu.exe" smartctl -i sdb (affiche plus d'infos)
"C:\Program Files\smartmontools\bin\runcmdu.exe" smartctl -x sdb (affiche toutes les infos)

Ex/astuces GNU/Linux

smartctl -a -P show /dev/sda (affiche le modèle de disque)
smartctl --all /dev/sda (ou --xall : plus d'infos)
Si un disque dur se monte automatiquement en read only, cela peut provenir de l'option dans fstab : errors=remount-ro, sinon vérifier si le disque dur est défectueux, par :

sudo smartctl -a -d ata /dev/sda (installer au préalable les paquets smartmontools et gsmartcontrol)

Si les résultats des commandes "df -h" et "du -h" divergent, vérifier s'il y a des fichiers "effacés mais encore ouverts" (fichiers qui ont été effacés au moment où ils étaient encore utilisés par un autre processus), ces fichiers prennent de la place disque, vue par "df" mais pas par "du" ; arrêter le processus utilisateur de ces fichiers libére l'espace disque occupé.

lsof | grep deleted
lsof -a +L1 | sort -nr -k 7,7

Erreurs et pannes disque - gestion d'erreur

Comparaison des taux de pannes

Blackblaze, qui utilise plus de 40 000 disques durs (marques et modèles variés), affiche sur ses pages web quelques stats d'erreur SMART : ses dernières stats, ses stats Q42014, ses stats SMART 1, 12 et 187, ses corrélations entre des paramètres SMART et des pannes disque
Dossier Google

Infos

Wikipedia : ERC (Error Recovery Control)
Wikipédia : Disque_dur (secteurs défectueux)
Chapitre 3 du livre "Bases de données PostgreSQL - Gestion des performances"

S.M.A.R.T. (parfois nommé à tort SMART)

S.M.A.R.T. (défaillances, pannes)
Fiabilité des disques ("SMART is not a reliable predictor of drive failure", etc.)
Commande smartclt

Disques externes

Les disques externes eSata sont gérés par un contrôleur SATA, et ne sont pas bridés (au niveau gestion d'erreur, etc.), contrairement aux disques externes connectés par USB ou Firewire.

Utilisation de disque dur en RAID

Les disques durs passent un certain temps à essayer de récupérer d'une erreur disque (par exemple un secteur défectueux) et donc peuvent remonter plus ou moins rapidement une erreur de type SCT ERC ; à cause de cela ils peuvent être éjectés d'une configuration RAID d'un NAS (car considérés - à tort - comme inutilisables), les solutions sont :

d'utiliser un disque dur pré-réglé à ce niveau pour du NAS (exemple : les disques "WD NAS ou Red")
d'utiliser un disque dur non bridé au niveau du S.M.A.R.T. (comme ceux de Toshiba), et de régler le scterc par le programme smartctl, utilisable sous GNU/Linux

RAID

Wikipédia
Linux home networking

Articles

Types de RAID, et spécialisation

RAID 0 (striping, partitions découpées en tranches, réparties sur différents disques)

Rapide (écriture et lecture simultanée) => pour le système, les fichiers temporaires, la vidéo.

RAID 1 (mirroring, disques en miroir)

Pour les données perso, car écrites sur 2 disques en parallèle => sécurité.
Ne pas acheter les disques d'une même série, pour éviter une panne simultanée.

etc.

Vic
Page modifiée le 15 janvier 2023
Page d'accueil du site