Denna tredelade serie skrevs av Bruce MacEwen och Janet Stanton från Adam Smith, Esq.
”Tänk inte på elefanter”, säger man i barndomen, med den omedelbara effekten att elefanter är det enda man kan tänka på.
Med risk för att vi besegrar våra egna ansträngningar innan vi har börjat, så om vi var tvungna att reducera vår vägledning om 2020 års Am Law 200-lista till en enda fras, så skulle det vara: ”Tänk inte på genomsnittssiffror.”
Varför inte genomsnittssiffror? Ordet i sig självt (vi har kontrollerat) förekommer 14 gånger i juninumret 2020 av The American Lawyer, som publicerade årets fullständiga Am Law 200-lista. Och när man presenteras för en lista eller rangordning tycks det hos dem som är analytiskt lagda framkalla den oemotståndliga impulsen att börja fråga om genomsnittsvärden. Vi är här för att berätta att det skulle vara ett misstag av första ordningen när man tittar på Am Law 200.
Varför? Främst för att medelvärden kan vara en användbar och informativ komponent för att generera en sammanfattning eller översikt av data som är fördelade över en standard-, normal- eller klockkurva. Emellertid – och detta är nyckeln – representerar Am Law 200 data som är fördelade över en effektkurva. Med denna typ av fördelning är medelvärden inte bara vilseledande; ibland kan de faktiskt ljuga.
Vad är skillnaden?
Här är en klockkurva som vi ritade i Excel:
Lookes familiar. Kolla nu in kraftkurvan:
Istället för att vi hävdar detta, låt oss visa det.
Tre av de viktigaste dataserierna i Am Law-numren är i) bruttoomsintäkter, ii) total vinst (känd som nettodriftsintäkt), och iii) antal anställda jurister. Här är hur var och en av dessa serier ser ut per decil – de 200 företagen i 10 grupper om 20 företag vardera:
Alla tre diagrammen, hävdar vi, berättar i huvudsak samma historia: Om man börjar i toppen av cirkeldiagrammen och rör sig medurs kan man se att de två första decilerna står för mer än hälften (i genomsnitt cirka 53 procent) av alla 200 företag, och de fyra nedersta decilerna står för ungefär 10 procent. Ett annat sätt att uttrycka samma sak – och för att se hur starkt skev denna fördelning är – är att de fem största företagen genererade nästan lika mycket intäkter (16,6 miljarder dollar) som de 90 nedersta företagen (17,1 miljarder dollar).
Allt är förstås mycket intressant, men på vilket sätt ger det en poäng om medelvärden? American Lawyer rapporterade att ”den genomsnittliga intäkts- och vinsttillväxten för Am Law 200 var båda 5 % förra året”. Det är rimligt. Man kommer oundvikligen att anta att den stora majoriteten av de 200 företagen därför växte ganska nära de 5 procenten i intäkter och vinster. Men det finns en mängd andra sätt att generera ett genomsnitt på 5 % för dessa kritiska och uppmärksammade dataserier som inte skulle återspegla någon sådan verklighet.
Här är till exempel några andra sätt att få fram dessa 5 %:
- De 10 % största företagen växte med 10 % vardera och de övriga 180 företagen växte med 1 %.5%
- De 20 % största företagen växte med 9 % vardera och de övriga 160 hade nolltillväxt.
- De 100 största företagen växte med 17 % vardera och alla övriga företag gick i konkurs – och ersattes inte alls i Am Law 200.
Dessa tre scenarier – vissa är visserligen mer surrealistiska än andra – beskriver naturligtvis ganska osammanhängande tillstånd i världen. Men alla stämmer perfekt överens med ett ”5-procentigt genomsnitt.”
Vad är moralen?
När man analyserar effektkurvor måste man kasta ut den välbekanta Stats 101-läroboken och tänka hårdare. Man bör fråga sig: ”Finns det meningsfulla och informativa generaliseringar man kan dra om detta dataset av företag?”. (Anta inte att svaret måste vara ja; kanske är det mest brus med endast en mycket svag och svag signal.)
Andra frågor är bland annat: ”Vad är det jag egentligen försöker ta reda på?” eller ”Om en direkt jämförelse av intäkter, nettodriftsintäkter eller antalet advokater inte är särskilt avslöjande, vad skulle då vara det?”
”Behöver jag jämföra företag inom delmängder och inte över hela gruppen på 200 företag?” ”Vilken klassificeringsmekanism skulle vara till hjälp för att definiera gränserna för dessa delmängder?” Och viktigast av allt: ”Vilken information (om jag kunde få fram den) skulle faktiskt förändra mitt sätt att hantera och bete mig?”
En av våra grundinställningar är att data nästan alltid försöker berätta en historia, och vårt jobb är att ta reda på vad den berättelsen är.
Närmast kommer vi att föreslå några av våra egna hypoteser om den berättelsen, och i processen be dig ifrågasätta om Am Law 200 – eller Am Law 100 eller Second Hundred, för den delen – ens är användbara kategorier överhuvudtaget.
Under tiden kan du få bort elefanterna ur din hjärna.