Deze 3-delige serie is geschreven door Bruce MacEwen en Janet Stanton van Adam Smith, Esq.
“Denk niet aan olifanten,” is de kinderlijke hint, met als onmiddellijk gevolg dat olifanten het enige zijn waar je aan kunt denken.
Op het gevaar af dat we onze eigen inspanningen tenietdoen voordat we begonnen zijn, dus als we onze leidraad voor de Am Law 200-lijst van 2020 tot één zin zouden moeten terugbrengen, zou het zijn: “Denk niet aan gemiddelden.”
Waarom niet aan gemiddelden? Het woord zelf (we controleerden het) komt 14 keer voor in het juni 2020 nummer van The American Lawyer, die de volledige Am Law 200 lijst van dit jaar publiceerde. En de presentatie van een lijst of rangschikking lijkt bij analytici de onweerstaanbare impuls op te roepen om naar gemiddelden te vragen. Wij zijn hier om u te vertellen dat dat een vergissing van de eerste orde zou zijn wanneer men naar de Am Law 200 kijkt.
Waarom? In de eerste plaats omdat gemiddelden een nuttig en informatief onderdeel kunnen zijn van het genereren van een samenvatting of overzicht van gegevens die verdeeld zijn over een standaard- of normale of belcurve. Maar – en dit is de sleutel – de Wet van Am 200 vertegenwoordigt gegevens die verdeeld zijn over een machtskromme. Met dit type verdeling misleiden gemiddelden niet alleen; ze kunnen soms zelfs liegen.
Wat is het verschil?
Hier is een belcurve die we in Excel hebben getekend:
Kent u zich dat. Kijk nu eens naar de machtscurve:
In plaats van dit te beweren, zullen wij het u laten zien.
Drie van de belangrijkste gegevensreeksen in de cijfers van Am Law zijn i) bruto-inkomsten; ii) totale winst (bekend als netto-exploitatie-inkomsten); en iii) het aantal advocaten. Hier is hoe elk van deze reeksen eruit ziet per deciel – de 200 firma’s in 10 groepen van elk 20 firma’s:
Alle drie grafieken, zo stellen wij, vertellen in wezen hetzelfde verhaal: Beginnend bovenaan de taartdiagrammen en met de wijzers van de klok mee, kunt u zien dat de eerste twee decielen meer dan de helft (gemiddeld ongeveer 53%) van de gehele 200 vertegenwoordigen, en de onderste vier decielen ongeveer 10%. Een andere manier om hetzelfde punt uit te drukken – en om te zien hoe sterk deze verdeling scheefgetrokken is – is dat de top vijf firma’s bijna evenveel inkomsten genereerden (16,6 miljard dollar) als de onderste 90 firma’s (17,1 miljard dollar).
Alles heel interessant natuurlijk, maar hoe maakt dat een punt over gemiddelden? De American Lawyer meldde dat “de gemiddelde omzet- en winstgroei voor de Am Law 200 vorig jaar beide 5% waren.” Dat is redelijk. Men gaat er onvermijdelijk van uit dat de overgrote meerderheid van de 200 kantoren dus een omzet- en winstgroei heeft gerealiseerd die dicht bij die 5% ligt. Maar er zijn een heleboel andere manieren om een gemiddelde van 5% te genereren voor die cruciale en spraakmakende gegevensreeksen die een dergelijke realiteit niet zouden weerspiegelen.
Er zijn bijvoorbeeld een paar andere manieren om op die 5% uit te komen:
- De top 10% van de bedrijven groeide elk met 10% en de andere 180 bedrijven groeiden met 1.De top 20% van de firma’s groeide elk met 9% en de andere 160 kenden een nulgroei.
- De top 100 firma’s groeiden elk met 17% en alle andere firma’s gingen failliet en werden helemaal niet vervangen in de Am Law 200.
Het is duidelijk dat deze drie scenario’s – toegegeven, sommige meer surrealistisch dan andere – vrij ongerijmde toestanden van de wereld beschrijven. Maar ze sluiten allemaal perfect aan bij een “5% gemiddelde.”
Wat is de moraal?
Bij het analyseren van power curves moet je het vertrouwde Stats 101 draaiboek overboord gooien en beter nadenken. Men moet zich afvragen: “Zijn er zinvolle en informatieve generalisaties te maken over deze dataset van bedrijven?” (Neem niet aan dat het antwoord ja moet zijn; misschien is het vooral ruis met slechts een zeer zwak en zwak signaal.)
Andere vragen zijn, “Wat probeer ik echt uit te vinden?” of “Als het doen van een rechtstreekse vergelijking van de inkomsten, netto bedrijfsinkomsten, of advocaat headcount is niet echt onthullend, wat zou zijn?”
“Moet ik bedrijven te vergelijken binnen subsets en niet over de hele 200?” “Welk classificatiemechanisme zou nuttig zijn om de grenzen van die subgroepen te bepalen? En het belangrijkste: “Welke informatie (als ik die zou kunnen afleiden) zou de manier waarop ik beheer en me gedraag daadwerkelijk veranderen?”
Een van onze kernovertuigingen is dat gegevens bijna altijd een verhaal proberen te vertellen, en het is onze taak om uit te zoeken wat dat verhaal is.
Hierna zullen we enkele van onze eigen hypotheses over dat verhaal opperen, en u daarbij vragen of de Am Law 200 – of Am Law 100 of Second Hundred, wat dat betreft – überhaupt bruikbare categorieën zijn.
Mettertijd, haal de olifanten uit uw hersens.