Original: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm
Rutgersi ülikool, Camden NJ 08102
Avaldatud The Skeptical Inquirer, 26. köide, nr 1, jaanuar/veebruar 2002, lk 19-23.
Hispaania tõlge “El Modelo Econometrico Como Ciencia Basura” Psicologia Politica nr 24 (Valencia, Hispaania).
Kui soovite selle paberi pikema ja tehnilise versiooni Wordi formaadis, klõpsake siin.
Kas usud, et iga kord, kui vang täidetakse Ameerika Ühendriigid, kaheksa tulevikus mõrvad on takistanud? Kas usute, et 1% tõusu kodanike arv litsentseeritud vedama peidetud relvi põhjustab 3,3% langust on riigi mõrvade? Kas usud, et 10 kuni 20% languse kuritegevuse 1990 oli tingitud suurenenud abortide 1970? Või et mõrvade oleks kasvanud 250% alates 1974. aastast, kui Ameerika Ühendriigid ei ehitatud nii palju uusi vanglaid?
Kui mõni nendest uuringutest teid eksitatakse, võite langeda halbade teadusharude tekkeks: kasutada matemaatilisi mudeleid, millel pole tõestatud ennustusvõimet poliitiliste järelduste tegemiseks. Need uuringud on pealiskaudselt muljetavaldavad. Kirjutatud lugupeetud sotsiaalteadlaste poolt prestiižsetest institutsioonidest, ilmuvad nad tihtipeale vastastikku vaadatud teaduslikes ajakirjades. Täidetakse keeruliste statistiliste arvutuste abil, need annavad täpseid arvulisi “fakte”, mida saab poliitiliste argumentide arutelude punktidena kasutada. Kuid need “faktid” on ooperaamatud. Enne, kui tind on ühes uuringus kuivanud, ilmub teine täiesti erinevatest “faktidest”. Vaatamata nende teaduslikule välimusele ei vasta need mudelid kasuliku matemaatilise mudeli põhikriteeriumile: võime teha ennustusi, mis on paremad kui juhuslikud võimalused.
Kuigi majandusteadlased on selle arkaanse kunsti juhtivad praktikud, on ka sotsioloogid, kriminoloogid ja teised sotsiaalteadlased selle versioonid. See on tuntud erinevate nimetuste all, sealhulgas “ökonomeetriline modelleerimine”, “struktuurne võrrandi modelleerimine” ja “teeanalüüs”. Kõik need on võimalused põhjuslike seoste tegemiseks muutujate vahel. Probleem sellegipoolest, nagu kõik, kes on kursis statistikas teavad, on see, et korrelatsioon ei ole põhjuslik seos. Kahe muutuja vahel olevad korrelatsioonid on sageli “vales”, sest neid põhjustab mõni kolmas muutuja. Ökonomeetrilised modelleerijad üritavad seda probleemi lahendada, lisades nende analüsidesse kõik asjakohased muutujad, kasutades statistilist tehnikat, mida nimetatakse “mitmeks regressiooniks”. Kui üks oleks olnud kõigi põhjuslike muutujate täiuslik näitaja, siis see toimiks. Kuid andmed ei ole kunagi piisavalt hea. Ebaõnnestunud on korduv jõupingutus, et kasutada lõplikke vastuseid avaliku korraga seotud küsimustele.
Kuid paljud sotsiaalteadlased ei soovi ebaõnnestuda. Nad on pühendanud aastaid regressioonimudelite õppimiseks ja õpetamiseks ning nad kasutavad jätkuvalt regressiooni, et teha põhjuslikke argumente, mis ei ole nende andmetega õigustatud. Ma nimetan nende argumentideks mitmete regressioonide müüdid ja tahaksin kasutada näitena nelja uuringut mõrvamäärade kohta.
Üks müüt: veel relvad, vähem kuritegu.
Jale’i ülikooli majandusteadlane John Lott kasutas ökonomeetrilist mudelit, et “lubada kodanikel varjata relvi, hoiab ära vägivaldseid kuritegusid, ilma juhuslike surma suurendamata”. Lott analüüsis “annab välja” seadused, mis nõuavad, et kohalikud omavalitsused annaksid varjatud relvaloa kõigile seaduskuulekatele kodanikele, kes seda taotlevad. Lott arvas, et relvastuse omandi suurenemine rahvastikus suurendab iga protsendi võrra, põhjustades surmajuhtumite arvu vähenemise 3,3%. Lott ja tema kaasautor David Mustard postitasid 1997. aastal oma uuringu esimese versiooni Internetis ja kümneid tuhandeid inimesi selle alla laadis. See oli poliitikavaldkondade, ajalehe veergude ja sageli üsna keerukate arutelude teemaks World Wide Web teemaks. Lott pahandas oma kriitikutega meeldejääva pealkirja Rohkem relvi, vähem kuritegu, raamatus, kus nad süüdistasid ideoloogiat teaduse ees.
Lott’i töö on näide statistilistest ülesannetest. Tal on rohkem andmeid ja keerukam analüüs kui kedagi, kes selle teema uurib. Ta nõuab, et igaüks, kes soovib oma argumente vaidlustada, sattub väga keerukasse statistilisse arutelusse, mis põhineb nii rasketel arvutustel, et neid ei saa tavaliste lauaarvutitega teha. Ta vaidleb vastu kõigile, kes ei nõustu temaga, et ta laadiks alla oma andmekogumiku ja teeks uuesti oma arvutused, kuid enamik sotsiaalteadlastest ei arvesta, et see on nende väärtust väärt, et kordada uuringuid, kasutades korduvalt ebaõnnestunud meetodeid. Enamik relvkontrolli teadlasi lihtsalt eemaldasid Lott ja Sinepide nõuded ja läksid edasi nende tööga. Kaks kõrgelt tunnustatud kriminaalõiguse teadurit, Frank Zimring ja Gordon Hawkins (1997) kirjutasid artiklile, milles selgitatakse järgmist:
nagu näiteks härra Lott ja Sinepähkel, võib ühe tapmistegurite mudeli abil anda statistilisi jääke, mis viitavad sellele, et seadused “annavad välja” mõjutavad tapmisi, eeldame, et kindlaks määratud ökonomeetriline meetod võib tekitada samade ajalooliste perioodide kohtlemise erinevate mudelitega ja vastupidine mõju. Ökonomeetriline modelleerimine on kahe teraga mõõk, mis võimaldab statistilist leiutamist sobitada mis tahes triipu tõeliste usklike südameid.
Zimring ja Hawkins olid korras. Aasta jooksul avaldasid kaks kindlaksmääratud ökonomeetrit, Dan Black ja Daniel Nagin (1998) uuringut, mis näitas, et kui nad muutuvad statistilise mudeli veidi või rakendasid seda erinevate andmete segmentide jaoks, siis Lott ja Sinepit leiud kadusid. Must ja Nagin leidsid, et kui Florida valimisest eemaldati, ei olnud “seaduslike seaduste tuvastatav mõju mõrvade ja vägistamismääradele”. Nad jõudsid järeldusele, et “Lott ja Sinepide mudeli põhjal tehtud järeldus on sobimatu ning nende tulemusi ei saa avaliku korra sõnastamisel vastutustundlikult kasutada.”
John Lott vaidlustas nende analüüsi ja jätkas oma endi reklaamimist. Lott oli kogunud andmeid iga Ameerika maakonna kohta igal aastal aastatel 1977-1992. Selle probleemiks on see, et Ameerika maakond erineb suuresti suurusest ja sotsiaalsetest tunnustest. Mõned suured linnad, mis sisaldavad suuri linnu, moodustavad väga suure osa USA-s mõrvadest. Nagu juhtub, pole ükski neist väga suurtest maakondadest “väljastanud” relvade tõrje seadusi. See tähendab, et Lotti massiivne andmekogum oli oma töö jaoks lihtsalt sobimatu. Ta ei muutnud oma peamist põhjuslikku muutujat – “annab välja” seadused – kohtades, kus esines enamik mõrvu.
Ta ei maininud seda piirangut oma raamatus või artiklites. Kui ma avastasin, et minu andmete enda kontrollimisel puuduvad “suurimates linnades” seadused, küsisin ma sellest. Ta kummardas seda maha, öeldes, et tema analüüsis oli ta “kontrollitud” rahvaarvu suuruses. Kuid statistilise kontrolli kehtestamine matemaatilises analüüsis ei vastanud asjaolule, et tal puudusid lihtsalt andmed suuremate linnade kohta, kus tapmisprobleem oli kõige teravam.
See võttis mulle aega selle probleemi leidmiseks tema andmetes, kuna ma ei tundnud relv kontrolli küsimust. Kuid Zimring ja Hawkins tegid kohe nulli, sest nad teadsid, et seadused kehtestati riikides, kus riiklik relvi assotsiatsioon oli võimas, enamasti lõunas, läänes ja maapiirkondades. Need olid riigid, kus relvi oli juba piiratud. Nad märkisid, et see seadusandlik ajalugu petab “suutlikkust võrrelda suundumusi” riikides, kus on suundumusi teistes riikides. Kuna riikides, kus õigusaktid on muutunud, on asukohad ja põhiseadus erinevad riikidest, kus seda ei tehtud, oleksid õiguskategooriate võrdlused alati ohustab segi ajada demograafilisi ja piirkondlikke mõjusid erinevate õiguslike režiimide käitumisega. ” Zimring ja Hawkins märkisid veel, et:
Lott ja Sinep on loomulikult sellest probleemist teadlikud. Nende lahendus on standardne ökonomeetriline tehnika, milleks on luua statistiline mudel, mis kontrollib kõiki Idaho ja New York Cityi erinevusi, mis mõjutavad mõrvad ja kuritegevuse tase, välja arvatud seadused, mis “peavad välja andma”. Kui suudame “määratleda” oma mudelis tapmise, vägistamise, sissemurdmise ja auto varguse peamised mõjud, siis võime kaotada nende tegurite mõju erinevatele suundumustele. Lott ja Sinepard moodustavad mudelid, mis hindavad demograafiliste andmete, majandusandmete ja kriminaalkaristuste mõju erinevatele kuritegudele. Need mudelid on statistilises kodus valmistamisel parimad, sest need on loodud nende autorite poolt seatud andmete jaoks ja neid testitakse ainult andmetega, mida kasutatakse õiguspärase mõju hindamisel.
Lott ja Sastard võrdlesid Idaho, Lääne-Virginia ja Mississippi suundumusi Washingtonis, D.C. ja New York City suundumustes. Mis tegelikult juhtus, oli 1980ndatel ja 1990ndate aastate alguses suurte idapoolsete linnade plahvatused pragunemistega. Lott’i kogu argument lükati tagasi väitele, et suures osas maa- ja läänepoolsed “annavad” riigid säästavad pragudega seotud mõrvapidemeetmeid, kuna need “annavad” seadusi. Seda ei oleks kunagi tõsiselt võetud, kui seda ei oleks varjatud võrrandite labürindis.
Müüt kaks: vangistamine rohkem inimesi kärbib kuritegu
Lott ja Sinepikkide juhtum oli erakordne ainult sellel avalikkuse tähelepanuga, mille ta sai. On üsna tavaline, isegi tüüpiline, et konkureerivate uuringute avaldamine kasutades ökonomeetrilisi meetodeid, et jõuda vastupidistele järeldustele sama küsimuse kohta. Kummalgi analüüsil ei ole tihti midagi valesti. Erinevate tulemuste saavutamiseks kasutavad nad lihtsalt pisut erinevaid andmekogumeid või erinevaid meetodeid. Tundub, nagu oleks regressioonimudelijatel võimalik mingit tulemust saavutada, ilma et ta rikuks regressioonianalüüsi reegleid. Ühe erakordselt ausalt öeldes pettumuse kohta selle olukorraga teatasid kaks kõrgelt tunnustatud kriminoloogit: Thomas Marvell ja Carlisle Moody (1997:221) uuringu vastuvõtmisest, milles nad tegid mõrvakaitse mõjusid mõrvade määradele. Nad teatasid, et nad:
laialdaselt levitanud [nende] leiud koos kasutatud andmetega kolleegidele, kes on spetsialiseerunud kvantitatiivsele analüüsile. Kõige sagedasem vastus on see, et nad keelduvad uskuma tulemusi olenemata sellest, kui hea on statistiline analüüs. Sellise väidetava taga on mõiste, mida sageli käsitletakse mitteformaalselt, kuid harva avaldatakse, et sotsiaalteadlased saavad soovitud tulemusi, manipuleerides kasutatud protseduuridega. Tegelikult peetakse vanglate populatsioonide mõju kohta väga erinevaid hinnanguid, mis annavad tunnistust teadusuuringute vormistatavusest. Kvantitatiivsete uuringute korrapäraselt avaldamise seletus on see, et ükskõik kui põhjalik analüüs ei oleks tulemusi usaldusväärne, kui need ei vasta eelnevatele ootustele. Selles raamistikus ei õnnestu uurimisstiil.
Oma suurt väärtust tunnistas Marvell ja Moody ausalt mitmekordse regressiooniga seotud probleeme ja tegid mõned parandusettepanekud. Kahjuks muutuvad mõni ökonomeetriline mudel oma mudelitest nii süvendatuks, et nad kaotavad selle, kuidas need on omavolilised. Nad tulevad uskuma, et nende mudelid on tõelisemad ja kehtivad kui räpane, tagasihoidlik, “kontrollimatu” reaalsus, mida nad seletada soovivad.
Kolm mütti: inimeste käitumine kärbib kuritegu
Aastal 1975 avaldas American Economic Review Michigani ülikooli juhtiva majandusteadlane Isaac Ehrlichi artikkel, milles hinnati, et iga elluviimine takistas kaheksa mõrvamist. Enne Ehrlichi, kõige tuntumat surmanuhtluse tõhususe spetsialisti oli Thorsten Sellen, kes kasutas palju lihtsamat analüüsimeetodit. Sellen koostas graafikuid erinevate riikide suundumuste võrdlemisel. Ta leidis vähe või üldse ei olnud vahet surmanuhtlusega riikides või ilma, nii et ta jõudis järeldusele, et surmanuhtlus ei erine. Ehrlich teatas statistilise ülevõtmisaktiga, et tema analüüs oli enam õige, kuna ta kontrollis kõiki mõjusid, mis mõjutavad mõrvade määra.
Isegi enne selle avaldamist viitas Ehrlichi töö Ameerika Ühendriikide solicitor-i poolt Ameerika Ühendriikide ülemkohtu poolt surmanuhtluse kaitsmiseks amicus curiae lühidalt. Õnneks otsustas Euroopa Kohus mitte tugineda Ehrlichi tõendusmaterjalile, kuna seda ei kinnitatud teised teadlased. See oli mõistlik, sest ühe aasta jooksul või kahes teises teaduris avaldati samavõrd keerukad ökonomeetrilised analüüsid, mis näitasid, et surmanuhtlusele ei ole hoiatavat mõju.
Ehrlichi töö vastuolud olid nii olulised, et Riikliku Teadusnõukogu kutsus kokku siniste lint ekspertide kogu, et seda läbi vaadata. Pärast väga põhjalikku läbivaatamist otsustas vaekogu, et probleem ei seisne mitte ainult Ehrlichi mudelis, vaid ka idees ökonomeetriliste meetodite kasutamisel konflikti lahendamiseks riminaalõiguspoliitika valdkonnas. Nad (Manski, 1978: 422) jõudsid järeldusele, et:
sest tõenäoliselt sellise analüüsi jaoks kättesaadavad andmed on piiratud ja kuna kuritegelik käitumine võib olla nii keeruline, ei tohiks eeldada lõpliku käitumisuuringu ilmnemist, et kõrvaldada kõik vaidlused hoiatamise poliitika käitumisest.
Enamik eksperte usub nüüd, et Sellenil oli õigus, et surmanuhtlusele ei ole mõrvamääradele mingit mõju. Kuid Ehrlichi ei ole veendunud. Nüüd on ta oma mudeli kehtivuses üksildane tõeline usklik. Hiljutises intervjuus (Bonner ja Fessendren, 2000) rõhutas ta, et “kui arvestatakse selliseid erinevusi nagu töötus, sissetulekute ebavõrdsus, kiusamise tõenäosus ja valmisolek surmanuhtlust kasutada, on surmanuhtlus märkimisväärne hoiatav mõju.”
Müüt neli: legaliseeritud abort põhjustas kuritegevuse kaotuse 1990 ndatel.
1999. aastal avaldasid John Donohue ja Steven Levitt uurimust, milles käsitleti uimasti selgitust mõrvade määrade järsu vähenemise kohta 1990ndatel. Nad väitsid, et 1973. aastal Ameerika Ühendriikide ülemkohtu abordi legaliseerimine vähendas soovimatute laste sündi, mille ebaproportsionaalne arv oleks kasvanud kurjategijatena. Selle argumendi probleemiks on see, et abortide legaliseerimine oli ühekordne ajalooline sündmus ja ühekordsed sündmused ei paku piisavalt andmeid kehtivate regressioonanalüüside tegemiseks. On tõsi, et mõnes riigis on abort legaliseeritud varem kui teised, ja Donohue ja Levitt kasutavad seda fakti. Kuid kõik need riigid läksid läbi samade ajalooliste protsesside ja paljud muud asjad juhtusid samas ajaloolises perioodis, mis põhjustas mõrvade määra. Kehtiv regressioonanalüüs peaks hõlmama kõiki neid asju ja katsetama neid erinevate variatsioonide all. Olemasolevad andmed seda ei võimalda, seega on regressioonanalüüsi tulemused varieeruvad sõltuvalt sellest, millised andmed analüüsiks valitakse.
Sel juhul otsustas Donohue ja Levitt keskenduda muutustele kaheteistkümne aasta jooksul, ignoreerides nende aastate kõikumisi. Seda tehes märkis James Fox (2000: 303), et “nad jäid selle aja jooksul enamuse kuritegevuse nihkumistele – 1980-ndate lõpu ajastu tõusutendentsi ja lõpujärgsete aastate paranemist. midagi sellist, nagu moonfaaside mõju uurimine ookeani loodetele, kuid ainult andmete salvestamine ookeanilendude perioodide kohta.”
Kui ma kirjutasin seda artiklit, lisasin ma lause, milles öeldes: “varsti saab teine regresioonanalüütik samu andmeid tõenäoliselt uuesti analüüsida ja jõuda teistsuguste järeldusteni.” Mõni päev hiljem andis mu naine mulle ajalehe lugu just sellisest uuringust. Autor oli keegi muu kui John Lott of Yale koos Adelaide Ülikooli John Whitley’ga. Nad kärpisid samu numbreid ja jõudsid järeldusele, et “abordi seadustamine suurendas mõrvade määra ligikaudu 0,5 kuni 7 protsendi võrra” (Lott ja Whitely, 2001).
Miks sellised märkimisväärselt erinevad tulemused? Iga autorite komplekt valis lihtsalt ebapiisava andmekogu mudeli teistsuguse viisi. Ökonomeetria ei saa kehtivat üldõigust välja jätta ajaloolisest asjaolust, et abort legaliseeriti 1970. aastatel ja kuritegevus langes 1990. aastatel. Oleks vaja vähemalt paar tosinat sellist ajaloolist kogemust kehtiva statistilise testi jaoks.
Järeldused.
Happekatse statistilise modelleerimise puhul on ennustus. Prognoosimine ei pea olema täiuslik. Kui mudel võib ennustada oluliselt paremini kui juhuslikult ettearvatav, on see kasulik. Näiteks kui mudel võiks prognoosida aktsiahinda isegi pisut paremini kui juhuslikult maandada, muudaks see omanike jaoks väga rikkad. Nii on palju pingutanud akadeemiate mudelite testimine ja hindamine. Kahjuks kasutavad teadlased, kes kasutavad sotsiaalmeetmete hindamiseks ökonomeetrilisi meetodeid väga harva, ennustamiskatsetes oma mudelite kohta. Nende vabanduseks on see, et tulemuste teadmine võtab liiga kaua aega. Te ei saada uusi andmeid vaesuse, abortide või mõrvade kohta iga paari minuti pärast, kui teete aktsiahindadega. Kuid teadlased võivad ennustatavat katset teha muul viisil. Nad võivad töötada välja mudeli, kasutades ühes jurisdiktsioonis või ajaperioodil saadud andmeid, siis kasuta seda teiste aegade või kohtade andmete ennustamiseks. Kuid enamik teadlastest lihtsalt seda ei tee või kui nad mudeleid ebaõnnestuvad ja tulemusi pole kunagi avaldatud.
Ajakirju, et avaldada ökonomeetrilise uuringud avaliku korra probleeme sageli ei nõua prognoosiva testimise, mis näitab, et toimetajad ja retsensendid on madal ootused oma valdkonnas. Nii teadlased võtavad andmed fikseeritud aja jooksul ja hoida täpsustamisel ja kohandades oma mudeli, kuni nad saavad “selgitab” suundumusi, mis on juba juhtunud. Alati on mitmeid viise, kuidas seda teha, ja kaasaegseid arvuteid ei ole kohutavalt raske üritame kuni leiad midagi, mis sobib. Sel hetkel, uurija lõpetab, kirjutab leide, ja saadab paberil välja avaldamiseks. Hiljem teise uurija võib reguleerida mudel saada erinevaid tulemusi. See täidab lehti teadusajakirjade ja kõik teeskleb mitte märgata, et vähe või üldse mitte on tehtud edusamme. Aga me ei ole lähemale võttes kehtiv ökonomeetrilise mudeli mõrvas määrad täna kui olime kui Isaac Ehrlich avaldas esimese mudeli 1975. aastal.
Teadlaskonnal ei ole häid menetlusi laialt levinud uurimismeetodi ebaõnnestumiseks. Kvalifikatsiooniprogrammides juhtivates ülikoolides kinnitatud ja ajakirjanduses avaldatud meetodid kipuvad püsima. Paljud leibkonnad eeldavad, et kui uuring on avaldatud eksperdihinnangu saanud ajakirjas, on see kehtiv. Uuringud näitavad, et see ei ole alati nii. Vastastikused eksperdihinnangud kinnitavad, et järgitud tavasid on järgitud, kuid see ei ole kasulik, kui need tegevused on vigased.
1991. aastal Berkeley ülikoolis väljapaistev sotsioloog David Freedman ja kvantitatiivsete uurimismeetodite õpikute autor räsinud regressioonimudelite alustalasid, kui ta ausalt öeldes: “Ma ei usu, et see regressioon võib kaasa tuua suurema osa koormusest samuti ei saa regressioonivõrrandid omavahel anda palju abi segavate muutujate kontrollimisel “(Freedman, 1991: 292). Freedmani artikkel põhjustas hulga tugevaid reaktsioone. Richard Berk (1991: 315) märkis, et Freedmani argument “on enamike kvantitatiivsete sotsioloogide jaoks väga raske aktsepteerida. See läheb nende empiirilise ettevõtte südames ja sellega seab ohtu terve professionaalne karjäär.”
Seistes silmitsi kriitikud, kes tahavad mõned tõendid, et nad võivad ennustada trende, regressiooni modelleerijad sageli taandub statistilise ühe upmanship. Nad teevad argumendid nii keeruline, et ainult teiste kõrgelt haritud regressiooni analüütikud saavad aru, rääkimata kummutada, neist. Sageli seda tehnikat töötab. Potentsiaalne kriitikud lihtsalt loobuma pettumust. Philadelphia Inquirer on David Boldti (1999), olles ära kuulanud John Lott rääkida peidetud relvi ja tapmiste tase ning kontrollida teiste ekspertidega, kurtis, et “üritab praakima akadeemilise argumendid on peaaegu lollide hetkeks. Saate uppuda vaidlusi t-statistika, libatunnuseid ja “Poissoni” vs “vähimruutude andmete analüüsi meetodeid.”
Boldti oli õige arvata, et ta oli seda meelitatakse loll missiooni. On tegelikult mingeid olulisi järeldusi sotsioloogia või kriminoloogia, mida ei saa edastada ajakirjanikele ja poliitikutele, kellel puudub koolilõpetaja kraadi ökonomeetria. On aeg tunnistada, et keiser ei ole riideid. Kui esitatakse koos ökonomeetrilise mudeli, tarbijad peaksid nõudma tõendeid, et see võib ennustada trende andmed, välja arvatud andmed, mida kasutatakse, et luua see. Mudelid, mis ei see test on rämps teaduse, ükskõik kui keeruline analüüsi.
VIITED
Berk, Richard.A. 1991. Toward metoodika lihtsalt surelikud, “Sotsioloogilised metoodika 21: 315-324.
Boldti, David. 1999. “Uuring tõendeid relvi,” Philadelphia Inquirer 14. detsembril alla laadida May17, 2000: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Must, Dan. ja Daniel Nagin 1998. Kas paremalt carry seaduste hoida vägivallakuriteo? Journal of Legal Studies 27: 209-219.
Bonner, Raymond ja Ford Fessendren. 2000. Ühendriigid ilma surmanuhtluse osakaal madalam tapmiste tase, “New York Times, 22. september alla laadida aadressilt: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John ja Steven Levitt. 1999. Legaliseeritud Abort ja kuritegevus. Stanfordi Ülikooli õigusteaduskonna. Allalaetud augustis 2000: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 .
Fox, James. 2000. Demograafia ja USA mõrvade In A. Blumstein ja J. Wallman (toim.), Kuritegevuse Drop Ameerikas, Cambridge University Press, New York, lk. 288-317.
Freedman, David 1991. Statistilised mudelid ja kinga nahast. Sotsioloogilised metoodika 21: 291-313.
Lott, John. 2000. Rohkem Guns, Vähem Crime: mõistmise Kuritöö ja relvakontroll. University of Chicago Press, teine väljaanne täiendavaid analüüse.
Lott, John. ja John Whitley. 2001. Abort ja kuritegevus: Soovimatu laste ja out-of-abielu sündide, “Yale Law & Economics Research Paper No. 254. Allalaaditud 9. juulil 2001: http://papers.ssrn.com/sol3/papers.cfm ? abstract_id = 270126 .
Marvell, Thomas ja Carlisle Moody, C. 1997. mõju vanglas kasvu mõrvaga. Tapmine Uuringud 1: 205-233.
Zimring, Frank ja Gordon Hawkins. 1997. Varjatud käsirelvi: Võltsitud hoiatav, reageeriv ühenduse 7: 46-60.
