PB173 - Ovladače jádra - Linux III. Ladění jádra Jiri Slabý Fakulta informatiky Masarykova univerzita 30. 9. 2014 Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 1 / 18 Ladění jádra LDD3 kap. 4 (zastaralá) Jak zjistit chybu v jádře • Ladicími výpisy • Výstupem přes soubor (obsah velkých bufferů apod.) • Pád => analýza Oops • Regrese git bisect • Automatické nástroje • (Debugger - kgdb a další) «... Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 2/ 18 Sekce 1 Ladění jádra Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 3/ 18 Výpisy • printk již známe * Před formátovací řetězec se vkládá kern_* • Řetězec ve formě <čísio> nebo \ooičísio • Sděluje úroveň (důležitost) zprávy • Definované V linux/kernel .h Obvyklé nastavení Důležitost Konzole /var/log/* dmesg vysoká ANO ANO ANO normální NE ANO ANO ladicí NE NE ANO zapisuje jádro syslog* jádro Úroveň ovlivňuje, co se kde zobrazí Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 4/ 18 Nastavení výpisů • dmesg nastavit nelze 9 Obsahuje vždy všechno • Nastavení syslogu závislé na systému Nastavení konzole • dmesg -n číslo • Zprávy s vyšší úrovní se objeví na konzoli • Hodnota 8 => všechno dění • Např. při „hard-locku" • Demo: pbl73/03 + dmesg -n Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 5/ 18 Úkol Práce s úrovněmi O Přidejte si do kódu modulu warn_on(D O Zjistěte s jakou úrovní se varování vypisuje • Pomocí postupného nastavování dmesg -n Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 6/ 18 Úroveň výpisů Volba úrovně • Nechceme 10G /var/log/messages • Ladicí výpisy: debug • Nechceme spoustu hlášek na konzoli • Obvyklé chyby: warning, err Příklady printk(KERN_EMERG "Thread overran stack, or stack corrupted\n"); printk(KERN_ALERT "Unhandled fault: %s (0x%03x) at 0x%08lx\n", ... printk(KERN_CRIT "Invalid DMA channel for ata\n"); printk(KERN_ERR "button.c: Not enough memory\n"); printk(KERN_WARNING "Only using first memory bank\n"); printk(KERN_NOTICE "PCI: Starting initializationAn"); printk(KERN_INFO "SMP mode deactivated An"); printk(KERN_DEBUG "cosa%d: microcode started\n", ... Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 7/ 18 Cíl výpisů Co vše může být konzole pro výpisy • ttyO-tty* (co když stroj umře?) • Sériová konzole (ttyS*) • Síťová konzole (netconsole) a Všechno, co se zaregistruje pomocí register_consoie Nastavení pomocí parametru jádra (modulu) « console=ttyl • console=ttySO • netconsole=... Documentation/console/console.txt Documentation/serial-console.txt Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 8/ 18 Úkol Použití netconsole ve virtuálním stroji O Na hostitelovi: ne -ui o.o.o.o 60000 O dmesg -n 8 (vypisovat vše) Q modinfo netconsole O modprobe netconsole netconsole=@/,60000010.0.2.2/ O Např. echo h >/proc/sysrq-trigger Více informací V Documentation/networking/netconsole.txt Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 9/ 18 Nevýhody výpisů • Mnoho dat » Znepřehlednění (typické pro ACPI, iwlwifi) a Nestíhá se posílat na konzoli (ztráta informací) o Částečné řešení(linux/printk. h): if ( printk_ratelimit ()) printk (...) ; • Binární data a dmesg zobrazuje jen textová data • Částečné řešení(linux/kernel. h): p ri nt_hex_d u m p_bytes (...) Mnoho binárních dat se předává pomocí speciálních souborů Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 10/ 18 Sekce 2 debugfs Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 11 / 18 debugfs • Předávání ladicích dat přes soubor • Většinou V /sys/kernel/debug/ • Pokud n6! mount -t debugfs none /sys/kernel/debug/ • Documentation/filesystems/debugfs.txt • linux/debugfs.h • debugfs_create_dir, debugfs_create_file (file_operations), debugfs_create_symlink, debugfs_create_u{8,16,32,bool}, debugfs_remove a debugfs_remove_recursive « Lze Si předat data, JSOU pak V inode->i_private (v open) Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 12/ 18 Úkol Vytvoření položek v debugfs O Vytvořit adresář (debugf s_create_dir) O Vytvořit V něm SOUbor (debugf s_create_ul6) a Vrací nějakou hodnotu (např. 11320) Q Přeložit, vložit do systému (make, insmod) Q Přečíst soubor • cat /sys/kernel/debug// Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 13/ 18 Sekce 3 sysrq + strace Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 14/ 18 SysRq • System-request (Documentation/sysrq.txt) • Klávesnicí: Alt-PrintScreen • Vzdáleně:/proc/sysrq-trigger • Funguje (většinou) i po pádu systému • Zapnutí: sysctl kernel. sysrq=l h zkrácená nápověda r „reset klávesnice" P výpis tras procesů na CPU t výpis tras všech procesů w výpis blokujících procesů s-u-s-b syne + unmount + reboot Příklady SysRq Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 15/ 18 Úkol Sysrq O Vypište si nápovědu (sysrq-h) O Vypište si trasy procesů na CPU (sysrq-p) 0 Vypište si informace o paměti (sysrq-m) Pozn.: v Qemu lze vyzkoušet v ovládací konzoli (Ctrl-Alt-2) příkazem sendkey alt-sysrq-písmeno Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 16/ 18 strace • Chci-li znát komunikaci jádro o program • man strace « Zachytává syscally • Dekóduje a vypisuje jejich parametry na STDOUT Demo: strace -e open,read cat . . ./debug/. . . Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 17/ 18 Analýza Oops myjnit(void) { char *ptr = (void *)5; *ptr = 5; } BUG: unable to handle kernel NULL pointer dereference at 00000000000005 IP: [< ffffffffa0039042 >] my_init+0x12/0x30 [pb173] PGD 3daff067 PUD 3c713067 PMD 0 Oops: 0002 [#1]SMP last sysfs file : /sys/devices/system/... CPU 0 Modules linked in: pb173(+) mperf fuse ... Pid: 2506, comm: insmod Not tainted 2.6.36-rc4-16-default #1 /Bochs RIP: 0010:[] [< ffffffffa0039042 >] my_init+0x12/0x30 [pb173] RSP: 0018:ffff88003c741f28 EFLAGS: 00010292 RAX: 0000000000000017 RBX: ffffffffa0039180 RCX: 0000000000000e91 CR2: 0000000000000005 CR3: 000000003bb47000 CR4: 00000000000006f0 Process insmod (pid: 2506, ...) Stack: ... Call Trace: [< ffffffff810002da >] do_one_initcall+0x3a/0x170 [< ffffffff8108f69a >] sys_init_module+0xba/0x210 [< ffffffff81002efb >] system_call_fastpatri+0x16/0x1 b [<00007fc3386320ba>] 0x7fc3386320ba Code: ... e8 63 c8 41 e1 04 25 05 00 00 ... Jiri Slabý (Fakulta informatiky, MU) PB173/02 30.9.2014 18/ 18