Mierzmy to co się liczy – pakiet SEC

Ludzie chcą być pewni, że kiedy surfują po sieci, są bezpieczni. Istnieje wiele ważnych różnic między przeglądarkami internetowymi w zakresie bezpieczeństwa, zatem naturalne jest, że coraz więcej grup stara się porównać przeglądarki przez pryzmat ich bezpieczeństwa. To świetna wiadomość; nie tylko pomaga to użytkownikom, ale także autorom przeglądarek wiedzieć na czym stoją i co mogą poprawiać.

Bardzo ważne jest, aby kiedy mierzysz bezpieczeństwo oprogramowania, mierzyć faktycznie to, co się liczy. Mówiliśmy o tym już nie raz, ale warto powtórzyć: jeśli mierzysz nie to co się liczy, namawiasz autorów oprogramowania, aby kombinowali i obchodzili zasady zamiast faktycznie poprawiać sytuację.

Z czego składa się dobry test bezpieczeństwa?

Nie istnieje jedna zmienna statystyczna który pozwoliłby pokazać w całości sytuację bezpieczeństwa przeglądarek. Każdy szanujący się model pomiarów musi brać pod uwagę wiele czynników. Jednak z całą pewnością istnieją 3 kardynalne czynniki, które powinny leżeć u podstaw każdego dobrze zaplanowanego modelu. Nazywamy je zestawem SEC:

Ważność (Severity) : Dobry model pomiarów będzie kładł nacisk na ważne, pozwalające na automatycznie wykorzystanie, błędy bardziej niż na malutkie błędy lub takie które wymagają, aby użytkownik współpracował z napastnikiem w konkretnej sekwencji. Mierzenie ważności zachęca autorów do naprawiania od początku najważniejszych błędów, a nie nadrabiania dobrego wyniku przez poprawianie mało istotnych zostawiając te największe i najważniejsze z boku.

Okres narażenia (Exposure window) : Niezbyt przydatne jest policzenie absolutnej liczby błędów. Natomiast niezwykle ważne jest dowiedzieć się na jak długo każdy z nich wystawiał użytkownika na ryzyko. Mierzenie okresu narażenia zachęca autorów do naprawiania błędów szybciej oraz do dostarczania poprawek do użytkowników.

Pełne ujawnienie (Complete disclosure) : Wszelkie inne formy mierzenia liczby błędów są prawie nieistotne jeśli nie widzisz wszystkich poprawionych błędów. Niektórzy autorzy w celu zaniżenia swoich wyników, upubliczniają jedynie błędy znalezione przez zewnętrzne źródła, ukrywając te, które odkryły ich wewnętrzne zespoły bezpieczeństwa. Mierzenie wyłącznie zewnętrznie wykrytych luk nagradza autorów, którzy są czysto reaktywni i, co gorsza, nie nagradza tych, którzy budują silne wewnętrzne zespoły bezpieczeństwa. Takie zespoły często wykrywają większość błędów; istotne jest, aby modele statystyczne rozpoznawały i wynagradzały takie podejście.

Jakie jest rozwiązanie?

Jeśli dałoby się łatwo zbudować model który włączyłby wszystkie informacje w sposób uniwersalny, już byśmy go używali. Kiedy rok temu pisaliśmy o naszym projekcie mierzenie bezpieczeństwa, mieliśmy na celu rozwój tych idei oraz zmianę tonu dyskusji.

Jeśli praca nad nim czegoś nas nauczyła, to jest to fakt, że nie da się tego rozwiązać w jeden dzień. Pierwszy krok to ustalenie i jasne wyrażenie czego powinniśmy się spodziewać od każdego pomiaru bezpieczeństwa. Jeśli nie skupia się to na zestawie SEC: Ważność, Okres narażenia i Pełne ujawnienie, zapytaj siebie czemu. A następnie zapytaj tych, którzy ten test wykonali.

Johnathan Nightingale
Ludzka Tarcza

tłumaczenie z blogu johnathana