Ez a 3 részes sorozat Bruce MacEwen és Janet Stanton, Adam Smith, Esq.
“Ne gondolj az elefántokra” – szól a gyerekkori gúnyolódás, aminek közvetlen hatása, hogy az elefántok az egyetlen dolog, amire gondolhatsz.”
Azzal a kockázattal, hogy legyőzzük saját erőfeszítéseinket, mielőtt elkezdenénk, ha egyetlen mondatra kellene redukálnunk a 2020-as Am Law 200 listával kapcsolatos útmutatásunkat, akkor az a következő lenne: “Ne gondolj az átlagokra.”
Miért ne az átlagokra? Maga a szó (ellenőriztük) 14-szer szerepel a The American Lawyer 2020. júniusi számában, amely az idei Am Law 200 teljes listáját közölte. Egy lista vagy rangsor bemutatása pedig úgy tűnik, hogy az analitikus hajlamúakban ellenállhatatlan késztetést vált ki, hogy elkezdjenek az átlagokról kérdezősködni. Azért vagyunk itt, hogy elmondjuk, hogy ez az Am Law 200-as listát tekintve elsőrendű hiba lenne.
Miért? Elsősorban azért, mert az átlagok hasznos és informatív elemei lehetnek a standard, normál vagy haranggörbe vagy normál görbe mentén eloszló adatok összefoglalójának vagy áttekintésének. Azonban – és ez a kulcs – az Am Law 200 egy teljesítménygörbén eloszló adatokat reprezentál. Ilyen típusú eloszlás esetén az átlagok nemcsak félrevezetnek, hanem időnként még hazudhatnak is.
Mi a különbség?
Itt egy haranggörbe, amelyet Excelben rajzoltunk:
Elég ismerősnek tűnik. Most nézze meg a teljesítménygörbét:
Ahelyett, hogy ezt mi állítanánk, engedje meg, hogy megmutassuk.
Az Am Law számok három kulcsfontosságú adatsora a következő: i) bruttó bevétel; ii) teljes nyereség (úgynevezett nettó működési bevétel); és iii) ügyvédi létszám. Íme, hogyan néz ki az egyes adatsorok decilisek szerint – a 200 cég 10, egyenként 20 cégből álló csoportban:
Mindhárom ábra, állításunk szerint, lényegében ugyanazt a történetet mondja el: A kördiagramok tetejénél kezdve és az óramutató járásával megegyező irányban haladva látható, hogy az első két decilis a teljes 200 cég több mint felét (átlagosan mintegy 53%-át), az alsó négy decilis pedig nagyjából 10%-át teszi ki. Ugyanezt úgy is ki lehet fejezni – és látni, hogy mennyire erősen ferde ez az eloszlás -, hogy az első öt cég közel ugyanannyi bevételt (16,6 milliárd dollár) termelt, mint az alsó 90 cég (17,1 milliárd dollár).
Az egész persze nagyon érdekes, de hogyan lehet ebből az átlagokra következtetni? Az American Lawyer arról számolt be, hogy “az Am Law 200 átlagos bevétel- és profitnövekedése egyaránt 5% volt tavaly”. Fair enough. Az embernek óhatatlanul az a feltételezés ugrik be, hogy a 200 cég túlnyomó többsége ezért elég közel nőtt a bevétel és a profit tekintetében ehhez az 5%-os arányhoz. De számos más módja is van annak, hogy 5%-os átlagot hozzunk létre ezekre a kritikus és kiemelt jelentőségű adatsorokra, amelyek nem tükrözik ezt a valóságot.
Itt van például néhány más módja annak, hogy az 5%-ra jussunk:
- A cégek felső 10%-a egyenként 10%-kal nőtt, a többi 180 cég pedig 1 százalékkal.5%
- A cégek legjobb 20%-a egyenként 9%-kal nőtt, a többi 160 cégnél pedig nulla volt a növekedés.
- A 100 legjobb cég egyenként 17%-kal nőtt, az összes többi cég pedig megszűnt – és az Am Law 200-ban egyáltalán nem került a helyükre.
Ez a három forgatókönyv – igaz, némelyik szürreálisabb, mint a többi – nyilvánvalóan a világ eléggé össze nem illő állapotait írja le. De mind tökéletesen illeszkedik az “5%-os átlaghoz.”
Mi a tanulság?
A teljesítménygörbék elemzésénél ki kell dobni a megszokott Stats 101-es játékkönyvet, és erősebben kell gondolkodni. Meg kell kérdezni: “Vannak-e értelmes és informatív általánosítások, amelyeket le lehet vonni a cégek ezen adathalmazáról?”. (Ne feltételezzük, hogy a válasznak igennek kell lennie; lehet, hogy az adatok többnyire zajosak, és csak egy nagyon gyenge és gyenge jelet tartalmaznak.)
A további kérdések közé tartozik: “Mit akarok valójában kideríteni?” vagy “Ha a bevétel, a nettó működési bevétel vagy az ügyvédi létszám egyenes összehasonlítása nem igazán árulkodó, akkor mi lenne az?”
“A cégeket az alcsoportokon belül kell összehasonlítanom, nem pedig a teljes 200-on belül?”. “Milyen osztályozási mechanizmus lenne hasznos ezen részhalmazok határainak meghatározásához?” És ami a legfontosabb: “
Egyik alapvető meggyőződésünk, hogy az adatok szinte mindig egy történetet próbálnak elmesélni, és a mi feladatunk, hogy kitaláljuk, mi ez a történet.
Az elkövetkezőkben néhány saját hipotézist fogunk felvetni ezzel a történettel kapcsolatban, és eközben megkérdezzük, hogy az Am Law 200 – vagy az Am Law 100 vagy a Second Hundred – egyáltalán hasznos kategóriák-e.
Addig is, szedje ki az elefántokat az agyából.