På senare år har modeller för maskininlärning blivit alltmer populära för riskbedömning av kemiska föreningar. De betraktas dock ofta som ”svarta lådor” på grund av sin brist på transparens, vilket leder till skepsis bland toxikologer och tillsynsmyndigheter.
För att öka förtroendet för dessa modeller föreslog forskare vid Wiens universitet att man noggrant skulle identifiera de områden inom kemikalieområdet där dessa modeller är svaga. De utvecklade ett innovativt mjukvaruverktyg (”MolCompass”) för detta ändamål och resultaten av denna forskningsansats har just publicerats i Journal of Cheminformatics.
Under årens lopp har nya läkemedel och kosmetika testats på djur. Dessa tester är dyra, ger upphov till etiska frågor och misslyckas ofta med att exakt förutsäga mänskliga reaktioner. Nyligen gav Europeiska unionen stöd till projektet RISK-HUNT3R för att utveckla nästa generations riskbedömningsmetoder utan djurförsök.
Wiens universitet är medlem i projektkonsortiet. Beräkningsmetoderna gör det nu möjligt att bedöma de toxikologiska och miljömässiga riskerna med nya kemikalier helt och hållet på dator, utan att behöva syntetisera de kemiska föreningarna. Men en fråga kvarstår: Hur säkra är dessa datormodeller?
Allt handlar om tillförlitliga förutsägelser
För att ta itu med denna fråga fokuserade Sergey Sosnin, seniorforskare vid forskningsgruppen Pharmacoinformatics Research Group vid universitetet i Wien, på binär klassificering. I detta sammanhang ger en maskininlärningsmodell en sannolikhetspoäng från 0% till 100%, vilket indikerar om en kemisk förening är aktiv eller inte (t.ex. toxisk eller icke-toxisk, bioackumulerande eller icke-bioackumulerande, en bindare eller icke-bindare till ett specifikt mänskligt protein). Denna sannolikhet återspeglar hur säker modellen är i sin förutsägelse.
Två kluster har tillskrivits hög tillförlitlighet av referensmodellen. Det tätare klustret till vänster representerar steroidderivat, medan det högra, mindre definierade klustret omfattar polyklorerade bifenyler och polyfenoler. De visualiserade uppgifterna är: Datasetet Estrogen Binders (se avsnitt Referensmodell)
Helst ska modellen bara vara säker på sina korrekta förutsägelser. Om modellen är osäker och ger ett konfidensvärde på cirka 51% kan dessa förutsägelser ignoreras till förmån för alternativa metoder. En utmaning uppstår dock när modellen är helt säker på felaktiga förutsägelser.
”Det här är det verkliga mardrömsscenariot för en beräkningstoxikolog”, säger Sosnin. ”Om en modell med 99% säkerhet förutspår att en förening är icke-toxisk, men föreningen i själva verket är toxisk, finns det inget sätt att veta att något var fel.”
Den enda lösningen är att i förväg identifiera områden i den ”kemiska rymden” – som omfattar möjliga klasser av organiska föreningar – där modellen har ”blinda fläckar” och undvika dem. För att göra detta måste en forskare som utvärderar modellen kontrollera de förväntade resultaten för tusentals kemiska föreningar en efter en – en tråkig och felbenägen uppgift.
Att övervinna detta betydande hinder
”För att hjälpa dessa forskare”, fortsätter Sosnin. ”Vi har utvecklat interaktiva grafiska verktyg som visar kemiska föreningar på ett 2D-plan, som geografiska kartor. Med hjälp av färger markerar vi de föreningar som med stor säkerhet förutspåddes felaktigt, så att användarna kan identifiera dem som kluster av röda prickar. Kartan är interaktiv, vilket gör det möjligt för användarna att undersöka det kemiska utrymmet och utforska områden som ger anledning till oro.”
Metoden testades med hjälp av en modell för bindning av östrogenreceptorer. Efter en visuell analys av den kemiska rymden stod det klart att modellen fungerar bra för t.ex. steroider och polyklorerade bifenyler, men att den misslyckas helt för små icke-cykliska föreningar och därför inte bör användas för dem.
Programvaran som utvecklats i detta projekt är fritt tillgänglig för allmänheten på GitHub. Sosnin hoppas att MolCompass kommer att leda kemister och toxikologer till en bättre förståelse för begränsningarna i beräkningsmodeller. Denna studie är ett steg mot en framtid där djurförsök inte längre är nödvändiga och den enda arbetsplatsen för en toxikolog är ett datorbord.
Mer information om studien: Sergey Sosnin, MolCompass: multi-tool for the navigation in chemical space and visual validation of QSAR/QSPR models, Journal of Cheminformatics (2024). DOI: 10.1186/s13321-024-00888-z
