Tämän kolmiosaisen sarjan ovat kirjoittaneet Bruce MacEwen ja Janet Stanton, Adam Smith, Esq.
”Älä ajattele norsuja”, kuuluu lapsuuden kiusoittelu, jonka välittömänä vaikutuksena on, että norsut ovat ainoa asia, jota voit ajatella.
Varaltaen, että voitamme omat pyrkimyksemme jo ennen kuin aloitamme, jos meidän pitäisi pelkistää vuoden 2020 Am Law 200 -listaa koskevat ohjeemme yhteen lauseeseen, se olisi: ”Älä ajattele keskiarvoja.”
Miksi ei keskiarvoja? Sana itsessään (tarkistimme) esiintyy 14 kertaa The American Lawyer -lehden kesäkuun 2020 numerossa, jossa julkaistiin tämän vuoden täydellinen Am Law 200 -luettelo. Ja listan tai rankingin esittäminen näyttää herättävän analyyttisesti suuntautuneissa ihmisissä vastustamattoman impulssin alkaa kysellä keskiarvoista. Olemme täällä kertoaksemme, että se olisi ensimmäisen luokan virhe, kun tarkastellaan Am Law 200 -listaa.
Miksi? Ensisijaisesti siksi, että keskiarvot voivat olla hyödyllinen ja informatiivinen komponentti laadittaessa yhteenvetoa tai yleiskatsausta tiedoista, jotka on jaettu vakio- tai normaalikäyrälle tai kellokäyrälle. Kuitenkin – ja tämä on ratkaisevaa – Am Law 200 edustaa dataa, joka on jakautunut tehokäyrälle. Tämäntyyppisessä jakaumassa keskiarvot eivät vain johda harhaan, vaan toisinaan ne saattavat jopa valehdella.
Mitä eroa on?
Tässä on Excelissä piirtämämme kellokäyrä:
Näyttää tutulta. Katsokaa nyt tehokäyrää:
Sallikaa meidän mieluummin näyttää tämä kuin väittää sitä.
Kolme Am Law -lukujen keskeistä tietosarjaa ovat i) bruttotulot, ii) kokonaisvoitot (tunnetaan nimellä nettotoimintatulot) ja iii) lakimiesten henkilöstömäärä. Seuraavassa esitetään, miltä kukin näistä sarjoista näyttää desiileittäin – 200 yritystä 10:een 20 yrityksen ryhmään kukin:
Kaikki kolme kaaviota kertovat mielestämme pohjimmiltaan saman tarinan: Piirakkakaavioiden yläreunasta alkaen ja myötäpäivään edeten voidaan havaita, että kaksi ensimmäistä desiiliä muodostavat yli puolet (keskimäärin noin 53 prosenttia) koko 200:sta yrityksestä, ja neljä alinta desiiliä muodostavat noin 10 prosenttia. Toinen tapa ilmaista sama asia – ja nähdä, kuinka voimakkaasti vinoutunut tämä jakauma on – on, että viisi parasta yritystä tuotti lähes yhtä paljon liikevaihtoa (16,6 miljardia dollaria) kuin 90 alimpaa yritystä (17,1 miljardia dollaria).
Kaikki tämä on tietysti hyvin mielenkiintoista, mutta miten tämä kertoo keskiarvoista? The American Lawyer raportoi, että ”Am Law 200:n keskimääräiset tulot ja voitot kasvoivat molemmat 5 prosenttia viime vuonna”. Ihan reilusti. Mieli hyppää väistämättä olettamukseen, että valtaosa 200:sta firmasta kasvoi siis melko lähellä tuota 5%:n liikevaihtoa ja voittoa. Mutta on olemassa lukuisia muita tapoja tuottaa 5 prosentin keskiarvo näille kriittisille ja korkean profiilin tietosarjoille, jotka eivät heijastaisi tällaista todellisuutta.
Tässä on esimerkiksi muutamia muita tapoja päätyä tuohon 5 prosenttiin:
- Kärkikymmenikön yritykset kasvoivat kukin 10 prosenttia ja loput 180 yritystä kasvoivat yhden prosentin.5 %
- Kärkikymmenikkö 20 % yrityksistä kasvoi kukin 9 % ja muut 160 yritystä kokivat nollakasvun.
- Kärkisatakunta yritystä kasvoi kukin 17 % ja kaikki muut yritykset menivät konkurssiin – ja niitä ei korvattu lainkaan Am Law 200 -listalla.
Näillä kolmella tavalla nämä kolme skenaariota – myönnettäköön, että jotkin niistä ovat surrealistisempia kuin toiset – kuvastavat ilmeisesti varsin sopimattomia tiloja maailmassa. Mutta kaikki sopivat täydellisesti yhteen ”5 prosentin keskiarvon” kanssa.”
Mikä on moraalinen opetus?
Tehokäyriä analysoidessa on heitettävä pois tuttu Stats 101 -harjoituskirja ja ajateltava tarkemmin. Pitäisi kysyä: ”Voidaanko tästä yritysjoukosta tehdä mielekkäitä ja informatiivisia yleistyksiä?”. (Älä oleta, että vastauksen on oltava kyllä; ehkä se on enimmäkseen kohinaa, jossa on vain hyvin heikko ja heikko signaali.)
Muita kysymyksiä ovat esimerkiksi: ”Mitä minä oikeastaan yritän selvittää?” tai ”Jos liikevaihdon, nettotoimintatulon tai lakimiesten lukumäärän suoraviivainen vertailu ei ole itse asiassa paljastavaa, mikä sitten olisi?”
”Pitääkö minun verrata yrityksiä osajoukkojen sisällä eikä koko 200:n joukossa?”. ”Mikä luokittelumekanismi olisi hyödyllinen näiden osajoukkojen rajojen määrittelyssä?” ”Millainen luokittelumekanismi olisi hyödyllinen näiden osajoukkojen rajojen määrittelyssä?” Ja mikä tärkeintä: ”
Yksi keskeisistä uskomuksistamme on, että data yrittää lähes aina kertoa tarinan, ja meidän tehtävämme on selvittää, mikä tämä tarina on.
Tulevaisuudessa ehdotamme joitakin omia hypoteesejamme tuosta tarinasta ja samalla pyydämme sinua kyseenalaistamaan, ovatko Am Law 200 – tai Am Law 100 tai Second Hundred – ylipäätään edes hyödyllisiä kategorioita.
Sillä välin, hankkiudu eroon elefanteista aivoissasi.