leuk, maar in 2020 en het bonusseizoen was het allebei fout ::hypocriet::De regel dat de Mol minder aandacht dan gemiddeld krijgt klopt toch nog steeds? Rob was zelfs minder in beeld dan Anita bij de eerste drie afleveringen en Jeroen liet alleen de eerste twee afvallers achter zich. (EDIT: Ik zie nu dat Rob niet goed herkend werd door de software vanwege zijn hoed ::rofl:: Maar Jeroen blijft wel staan.)
voorspellingen waren Patrick en Claes
Ik heb het niet geturfd, maar klopt mijn indruk dat zo'n beetje elk tweede biechtshot van juffrouw Knevel is?Dit is dus niet waar. AI heeft geturfd en Marije zit zelfs bij de onderste helft qua kandidaten die in beeld komen (Erik en Remco inclusief). Dit is het grafiekje voor dit seizoen (https://vega.github.io/editor/#/url/vega-lite/N4IgJAzgxgFgpgWwIYgFwhgF0wBwqgegIDc4BzJAOjIEtMYBXAI0poHsDp5kTykBaADZ04JACyUAHJQCMlAFYQ2AOxAAaEFBUAzGmTShiNOAHcDmlZhrKGbBhAAScPVjQBmAAweNW5VZt2EADqNAAm9GhiXgC+0RqhSJgoqKDKSAhwaCAJSfxiAKwAbIX52jIATACccJLalaFFklCS5Uit5flIHlAycIWZcdmJSBBwmBDmOQIFxaUV1bX1jc3tbZ3dvf1oANqgAKQABMRsbABOANZsGaqoMvmUAOwtYpVuboWSD17lxRpwODQlKFMugkNpBHBSKdrGQDjJ1CAcHBTkoVFlYEhToI2NgBmp9kcThcrnAbm5KG58pVJPkaW5yuUHuV6fk-gCgSCQGCIVCYXCEUiUScbiBkTRziA4gTjmdLtc0DIPBTJJUPO8OjJFflyjIHmzAWxgVluZCxcpYfCNILUSLwWdSVZ5KopSBDjLifLUBI7kUZAUvGIxOUPJ99RzjeDTdDzfyrcibVl5GwIIwUC63US5aSFfcZIVKUyPIUPBU3E8xGHDZyTbyY5bEfHhVlBEhzimEDRJfjXYTZSSbpVKB885UHoUKg96R5KoVK0bQZHaxaBY20ehkND5HjpZn+2gHpQqoGql8WgzJBU59XF2bl3GhWuQKdEFouzu+56JPlp+VJG4LzOv6FGIeqiuyVYRjyt6xg2D4is+yhwNuPbulmNx+pQtKSDSlRiHmgZFOUFZgQa85cje0Z3rBCboKcbBQOcACeb4obunp3JQHgPPkdwgZ49IPH6s4keGC5QZRMHWk26AQDgwh+MiLEZh+2aoIORRTm4uqFF8eGgf8pHXuJfLlCucHojAmLYriSm9h6qkSH+pbcaqlRuW8khXpBUYmWZNGitCErpnZaEKnIeGFL+RYhpIHxuF5Yk+TGpn3v5doIY6zrdsp9k3AeWn8Q8TJvJFJblAl5HGclfnSSASYpgwabZSFe63NIeY6WOM7YbhRXxSJEGJUuBwpdRtUtm2MAdrZqGtYUh6fAyXwltS+SBjIFU1tBo1SY+G40FuM1sapSrvG4bmTtqDxiCUHSsgNZFbRJO2rvBL5sEdKk3BIN1MlEzItNqF4dJtFG+altUIUhn25Qqg6VPk7yTkWeEIyq+ngY9YPVRDj50QxzHBbN7EHvmk4-Iy52qpOxEGaJlVJbCL3mTJcnWJgilE8d6ESO8iollp3HMh4+QY4Z3nDW4NWPhiWI4hzMOhagSqRbSzIFDIlSKlEki05jRmMwcUu4yKYpBc1xOqXmUijsyU53BeHiMqDVWwsbY2PulDoHVl76w16lC4Vxmo3UR35Uv1dODQzkvSyK9WporrWapQQYIxUPHAYUqrnS7hvu7tIoTe2nZc19aD3CqVJ3DpNJEWWevi0N0EF69WT7YdZf+0qPyUh4N2am8RbUpH+sSy3cdZM+CCvl3Svzbh7l4QDIF5p5D0G7HJtT6S0Nz61OpSKeLTXf3IEI2L9NPXyrcs0+9FMUn7HzWOa2SCGCNa40edbx7IqyfJDmpxJQAF1Biki0KEGE5gtDYmASkEAug4CCFCFkKORoNCYEYkiLIygrjWCQIILsFhBAMAQDcUASCUFZELgiJQpxMA7CfO9BEZsERQ0yBoBOjUEQd04YguB3snQIlltZBWGhi5TU7BoAB7NFIaHxo-EBmC6AQiyAiLBOD0B4I7GkIhgxMAnEEFYHAOxKHGGoegWhmDsGch0QQ-R3YqGoPQOg-hmi7H4L0SxZxWQcqhQ0NoM4yBGHoFkNoDRtisgAEdGp+DoIkGgpBQEaAAB7mF8a4seKjMBqPQJErRIB7HeMGMxBBmTWLlxsYU2JSB4lJCsMk2IGgNwSnQEwTEGjVEgm2CAIIABJAAIgAWRGk7esABxOA9CObIlCAcNgOADhkEQGEYEKCWrXAWVCA4TBnDAgONfc02ZlEgBMGECIXoPDRCAA/view).
leuk, maar in 2020 en het bonusseizoen was het allebei fout ::hypocriet::
voorspellingen waren Patrick en Claes
Oke, fout is wellicht wat sterk uitgedrukt. Het klopt dat Jeroen als mol inderdaad bij de onderste 3 zat (eerste afvaller niet meegerekend). Maar de mol-voorspelling was is beide gevallen niet goed.
2018 is gebruikt als trainingsdata, dus daar kan je geen uitspraken over doen.
2019 was wel 'goed' in de zin dat Mattijn schreef dat hij verwacht (op dat moment nog niet wetend of het klopt) dat Merel de mol is
Interessant stukje algoritme gevonden.
https://github.com/mattijn/widm
De mol zit vaak bij de 3 mensen die in de eerste 3 afleveringen het minst in beeld is.
Dat zou beteken Joshua Marije of Renee.
Wat ik zelf heb bijgehouden is dat elk seizoen het bondje wat de mol aangaat vanaf het begin de aandacht krijgt
(Zie Merel/jaime, Rob/Nathan, Jeroen in n gek driehoeksbondje)
En nu zien we Splinter/Joshua
Benieuwd of t wederom uitkomt
Interessant. Gaat dit ook verder terug dan Merel en Jamie?
De bondjes Diederik/Thomas, Margriet/Martine, Kees/Zarayda en Jon/Rick waren ook niet bijzonder veel in beeld. Er was respectievelijk meer aandacht voor Jochem/Imanuelle, Rik/Marleen, Carolien/Paulien en Vivienne/Dennis. Art/Patrick kwam wel veel in beeld en tot op zekere hoogte ook Kim/Arjen en Dennis/Edo(/Patrick?), maar dat was toch vooral wat later in het spel. Als je verder teruggaat, hadden mensen niet echt bondjes.
Als je verder teruggaat, hadden mensen niet echt bondjes.
Marc-Marie en Yvon, Ferdi en Elise. (Toen heette het nog gewoon een pact.) Maar dat kreeg niet veel of pas laat aandacht.
Denk het niet echt. Ik geloof dat Jan wel een bondje had, maar ik kan me niet eens meer herinneren wie het was (was het Emilio), terwijl de bondjes Ruben/Loes, Stine/Olcay en Simone/Bella wel veel in beeld waren. Tegen het eind had hij praktisch een bondje met Olcay, maar dat was pas veel later. De bondjes Diederik/Thomas, Margriet/Martine, Kees/Zarayda en Jon/Rick waren ook niet bijzonder veel in beeld. Er was respectievelijk meer aandacht voor Jochem/Imanuelle, Rik/Marleen, Carolien/Paulien en Vivienne/Dennis. Art/Patrick kwam wel veel in beeld en tot op zekere hoogte ook Kim/Arjen en Dennis/Edo(/Patrick?), maar dat was toch vooral wat later in het spel. Als je verder teruggaat, hadden mensen niet echt bondjes.
https://github.com/Multifacio/MoldelLaatste voorspelling:
Deze is ook leuk... Het Moldel: Een AI model dat de mol voorspelt, maar veel meer meeneemt dan gezichtsherkenning alleen.
Ik weet het niet... Gevoelsmatig (en rationeel misschien ook wel) heb ik niet zoveel vertrouwen in dit model als ik lees hoe het tot stand komt. Minder dan met die gezichtsherkenning.Het gezichtsherkenningsalgoritme is een onderdeel van mijn Moldel, dus zou mijn Moldel in principe even accuraat of nog accurater moeten zijn dan het gezichtsherkenningsalgoritme.
Puntje is dan wel nog dat ze het berekend hebben voor de finale, en daar zijn we natuurlijk nog niet.Na de finale (i.e. voor de ontknopings-aflevering) heb je inderdaad de meest accurate voorspelling. Maar voor de finale kun je ook al vrij accurate voorspellingen hebben. Het is inderdaad niet zo dat de kandidaat met de hoogste kans daadwerkelijk ook altijd de Mol is, maar de Mol heeft vaak wel een hoge kans volgens mijn algoritme om de Mol te zijn.
Ik heb niet goed zicht op wat er gebeurt met de resultaten als Marije af zou vallen volgende week; slaat het dan in één keer door naar Splinter?In mijn Moldel kijk ik ook vaak wat er gebeurt als een bepaalde kandidaat afvalt en je ziet inderdaad dat de voorspelling uitslaat naar Splinter als Marije of Renee afvalt (wel natuurlijk onder voorbehoud van wat de kandidaten de volgende aflevering op de testvragen antwoorden). In het geval Splinter afvalt slaat de voorspelling uit naar Marije.
Als je het per aflevering voor dit seizoen bekijkt, zitten er ook flinke sprongen in. In seizoen 20.2 is Peggy tot kort voor de finale echt megaverdacht volgens het model en Jeroen tamelijk marginaal, in de finale is het ineens helemaal anders.Dat ging inderdaad helemaal mis. Dat kwam voornamelijk omdat ik getipt was op een artikel (https://www.rtlboulevard.nl/entertainment/showbizz/artikel/5188262/dit-het-bewijs-dat-jeroen-niet-de-mol) na aflevering 5 dat aanwees dat de Jeroen niet meer de Mol kon zijn. Voor dit seizoen heeft de Social Media Layer een minder sterke rol in de voorspelling, dus ik verwacht niet dat dezelfde fout zich weer zal voordoen.
Een Wikipedia-pagina vind ik ook wat apart en gaat uit van bepaalde (niet gestaafde?) assumpties.De Wikipedia layer is inderdaad niet mijn meest accurate layer. Mijn Moldel weet dit ook en geeft daarom ook een lager gewicht aan de Wikipedia layer in latere voorspellingen.
Dit AI-model kiest dan ook een mol die lijkt op mollen uit voorgaande jaren.De voorspelling wordt niet alleen op de karakters van de kandidaten gebaseerd (Wikipedia layer) maar ook basis van andere aspecten van het spel. Daarnaast heeft de Wikipedia layer niet een hele grote invloed op latere voorspellingen.
De sociale media analyse zou dan zeggen dat het een dertiger moet zijn die acteur of presentator is (Marije is dan de enige overgeblevene, Splinter scoort ook hoog maar is te jong).Dat is niet hoe de Social Media Layer werkt, de Social Media Layer sluit kandidaten uit waarvan bewijs is dat ze eerder afgevallen moeten zijn. Leeftijd wordt overigens nog niet gebruikt door mijn Moldel om de Mol te voorspellen (dat ben ik wellicht wel van plan voor komende seizoenen).
Maar de makers kiezen soms juist een mol die vernieuwend is en daar kan AI niet zo veel mee.Dan zou het Moldel ook voor voorgaande seizoenen af en toe problemen moeten ondervinden als het programma vernieuwend is, dat is tot op heden nog niet gebeurt.
Daarnaast is de hoeveelheid vergelijkbare data voor AI-modellen erg beperkt. Er zijn 21 ex-mollen, wat al niet veel is, maar sommige daarvan zijn erg lang geleden.Dat er niet heel veel data is is inderdaad iets waarmee ik heb moeten omgaan in dit project. Ik gebruik ook technieken als data augmentation (meer data creëren uit minder data), feature reduction technieken (bijvoorbeeld PCA) om het aantal features te reduceren en hoe je dingen codeert maakt ook heel veel uit. Er zijn bijvoorbeeld 160 Wikipedia pagina's waarvan 16 Mol Wikipedia pagina's, wat inderdaad niet veel is. Maar voor de Exam Drop Layer heb ik 411 antwoorden waarop het model getraind is. En de Appearance Layer is getraind met 374 waardes hoe vaak iemand in beeld is gekomen, waarvan 45 waardes van de Mol.
AI-modellen deden het bij de laatste twee VS primaries en presidentsverkiezingen ook slecht. We hebben geleerd dat die verkiezingen zowel niet lijken op andere VS verkiezingen of op verkiezingen van 50 jaar terug en dan is de hoeveelheid data waarmee je werkt wel erg beperkt.Het verschil alleen tussen mijn algoritme en een algoritme dat gebruikt wordt om verkiezingen te voorspellen is dat verkiezingsalgoritmes daadwerkelijk invloed hebben op de uitkomst van verkiezingen, doordat er minder mensen komen opdagen als ze denken dat hun kandidaat toch wel gaat winnen. Mijn algoritme is daar niet vatbaar voor. Bovendien weet ik dat veel van die voorspellingen gedaan zijn aan de hand van polls (mensen ondervragen op wie ze gaan stemmen), dat is anders dan met een AI voorspellingen proberen te maken.
Interessant ...ik dacht dat dat misschien nog wel een grote rol speelde omdat 1 van de 2 namen die je niet meer meeneemt in je voorspellingen ergens was getagd in de opnameperiode (of zoiets).
Dat ging inderdaad helemaal mis. Dat kwam voornamelijk omdat ik getipt was op een artikel dat na aflevering 5 dat aanwees dat de Jeroen niet meer de Mol kon zijn. Voor dit seizoen heeft de Social Media Layer een minder sterke rol in de voorspelling
Interessant ...ik dacht dat dat misschien nog wel een grote rol speelde omdat 1 van de 2 namen die je niet meer meeneemt in je voorspellingen ergens was getagd in de opnameperiode (of zoiets).Nee, dat die kandidaten niet meer in de voorspelling meegenomen zijn is omdat ze lager dan 1.5% scoren wat eigenlijk niet komt door de Social Media Layer maar door de andere 4 layers.
Hou er rekening mee dat Jeroen dat expres had gedaan ...dus ik zou zelf alleen hard bewijs meenemen dat iemand tijdens de opnameperiode in Nederland is geweest.Dat doe ik tegenwoordig ook.
Nog een vraagje... zou je kunnen aangeven (zonder spoilers te noemen ...en anders graag tussen spoiler tags) waarom het Moldel Charlotte & Rocky nu helemaal lijkt uit te sluiten? Of begrijp ik het niet goed?
En als vervolg daarop:De voorspelling wordt niet alleen op de karakters van de kandidaten gebaseerd (Wikipedia layer) maar ook basis van andere aspecten van het spel. Daarnaast heeft de Wikipedia layer niet een hele grote invloed op latere voorspellingen.
Dat is niet hoe de Social Media Layer werkt, de Social Media Layer sluit kandidaten uit waarvan bewijs is dat ze eerder afgevallen moeten zijn. Leeftijd wordt overigens nog niet gebruikt door mijn Moldel om de Mol te voorspellen (dat ben ik wellicht wel van plan voor komende seizoenen).
Dan zou het Moldel ook voor voorgaande seizoenen af en toe problemen moeten ondervinden als het programma vernieuwend is, dat is tot op heden nog niet gebeurt.
Dank voor deze toelichting! De keuze van de makers welke vraag van de afvaller in beeld te brengen, is willekeurig - of zelfs strategisch, om ons op een verkeerd been te zetten. Dat zagen we in het jubileumseizoen nog bij Ron. Ik heb het idee dat vaak die vraag eruit wordt gepikt die niet betrekking heeft op degene op wie hij/zij eruit is gegaan. Een verdachte van de afvaller ja, dat is belangrijk, maar een vraag van de afvaller? Zou ik geen zwaar gewicht aan toekennen.
- Charlotte wordt zo goed als uitgesloten door de Exam Drop Layer, dat houdt in dat teveel afvallers vragen op haar hebben ingevuld.
- Rocky wordt zo goed als uitgesloten door een combinatie van de Exam Drop Layer, Appearance Layer en Wikipedia Layer. Dat betekent dat ook afvallers vragen op haar invullen, dat ze teveel in beeld komt en dat haar karakter niet past bij dat van een Mol.
Sorry dat ik de social media layer verkeerd begrepen heb. Ik heb de indruk dat de makers er scherper in zijn geworden en volgens mij zag ik bijv dit seizoen nog geen spoilers op basis van social media gebruik.Dat klopt, dit seizoen wordt niemand uitgesloten op basis van de Social Media Layer.
Ik begrijp dat leeftijd niet wordt meegenomen, maar bij dit soort modellen kan het tricky zijn dat je je baseert op een aantal factoren die impliciet iets anders meenemen. Bijvoorbeeld het gebruik van bepaalde social media of bepaald taalgebruik is sterk afhankelijk van leeftijdsgroep.Ik denk dat je niet helemaal mijn Social Media Layer begrijpt. De uitkomst van mijn Social Media Layer is dat iemand nog mogelijk de Mol kan zijn of geen mogelijkheid meer heeft om de Mol te zijn. Er zit dus geen optie tussen in dat je nog een beetje kans hebt om de Mol te zijn (bij de oude versie zat dat wel erin). Voor deze layer gebruik ik ook geen artificial intelligence, maar voer ik handmatig in welke spelers op basis van duidelijk bewijs niet meer de Mol kunnen zijn.
De keuze van de makers welke vraag van de afvaller in beeld te brengen, is willekeurig - of zelfs strategisch, om ons op een verkeerd been te zetten.De makers zullen ons inderdaad op een verkeerd been proberen te zetten, maar een algoritme dat meerdere seizoenen als training data heeft, heeft dat natuurlijk ook door. In ieder geval volgens mijn algoritme zit er een relatie tussen de kans op het goed beantwoorden van vragen en hoe vroeg de kandidaat was afgevallen en hoe lastig de vraag is.
Dat zagen we in het jubileumseizoen nog bij Ron. Ik heb het idee dat vaak die vraag eruit wordt gepikt die niet betrekking heeft op degene op wie hij/zij eruit is gegaan.Ron was natuurlijk ook een vrij late afvaller en late afvallers hebben hun vraag vaker goed. Maar daarnaast kun je op basis van één geval niet zeggen of er wel of geen relatie is. Stel bijvoorbeeld dat je een vraag hebt die je met gokken 50% van de keer goed beantwoord en je ziet dat in 25/30 gevallen die fout beantwoord wordt door een vroege afvaller, dan beantwoorden vroege afvallers die een stuk slechter dan random gokken en kun je dat gebruiken om de Mol te vinden.
Een verdachte van de afvaller ja, dat is belangrijk, maar een vraag van de afvaller? Zou ik geen zwaar gewicht aan toekennen.Hij kijkt niet alleen na het antwoord dat gegeven wordt door de afvaller in de aflevering dat hij afvalt. Hij kijkt ook naar eerdere antwoorden die gegeven zijn door de desbetreffende afvaller.
@ Multifacio, wat de Appearance Layer betreft... toen ik ernaar googelde zag ik dat het widm gezichtsherkenningsalgoritme van Mattijn vorig jaar al bekend was online. Zo uit t hoofd was er op Tweakers.net een draadje over met veel reacties.In het Renaissance seizoen kwam de Mol ook minder in beeld. Dus ik denk niet dat de productie daarop ingespeeld heeft. Wat betreft dat de productie gaat inspelen op mijn algoritme, daar ben ik wel bang voor en dan zullen de voorspellingen voor het volgende seizoen tegen gaan vallen. Maar dan moeten ze natuurlijk wel mijn algoritme begrijpen en daarvoor heb je wel verstand nodig van artificial intelligence en/of statistiek. Het zou ook kunnen zijn dat ze er niet op in gaan spelen, i.e. je kunt natuurlijk alle componenten uit je programma halen waarmee je eventueel de Mol zou kunnen voorspellen, maar dan is er ook geen plezier meer aan om naar 'Wie is de Mol?' te kijken.
Neemt het Moldel dat soort dingen ook mee? Dat de productie daarop in zou kunnen spelen, bedoel ik.
Over de Wiki Layer ...zijn er al mollen geweest die eigenlijk niet binnen het plaatje pasten? Rob was muzikant, maar paste er qua gedrag en profiel mss wel heel erg bij.Ja, dat is zeker gebeurt. Rob Dekay scoorde inderdaad als muzikant minder goed op de Wikipedia Layer, Jon van Eerd scoorde ook slechter en in de vorige versie van de Wikipedia Layer scoorde ook Margriet van der Linden slechter.
Ik ben ook wel benieuwd hoe die layer Charlotte, Splinter, Marije, Renée & Rocky rate. Past iedereen behalve Rocky binnen het profiel?Nee, naast Rocky scoort Marije ook slechter. Als zij dus de Mol blijkt te zijn dan is Marije een nieuw geval dat slechter scoort op de Wikipedia layer, wat wellicht een reden voor mij is om de Wikipedia layer in komende seizoenen uit te schakelen of te veranderen aangezien dat onlangs nog gebeurde met Rob als Mol.
Ik weet niet of je er iets mee kan, maar lijkt me ook dat kandidaten die elkaar al voor de opnamen kenden de mol bijna niet kunnen zijn.Interessant, dat zou ik eventueel als nieuw idee kunnen gebruiken (daar vermeld ik dan ook jouw naam bij). Je moet hierbij wel goed definiëren wat kennen is en het moet natuurlijk ook bekend zijn wie elkaar allemaal kennen en wie niet. Daar zie ik wel moeilijkheden in om dat goed te definiëren en daarover data te vinden.
Ik denk dat je niet helemaal mijn Social Media Layer begrijpt. De uitkomst van mijn Social Media Layer is dat iemand nog mogelijk de Mol kan zijn of geen mogelijkheid meer heeft om de Mol te zijn. Er zit dus geen optie tussen in dat je nog een beetje kans hebt om de Mol te zijn (bij de oude versie zat dat wel erin). Voor deze layer gebruik ik ook geen artificial intelligence, maar voer ik handmatig in welke spelers op basis van duidelijk bewijs niet meer de Mol kunnen zijn.
Daardoor kan het zijn dat je een factor per ongeluk meerdere keren meetelt (bijv. acteurs zijn vaker de mol, maar mensen die op school toneel hebben gedaan zijn ook vaker de mol, net als mensen die toneelacademie hebben gedaan en mensen die in een lange lijst met fims voorkomen, maar ja, je telt iedere keer bijna hetzelfde).Daar heb ik PCA (Principal Component Analysis) voor gebruikt. Die probeert gecorreleerde features samen te voegen.
Een vraag over deze layer: vergelijk je oud-mollen op basis van hun profielen vandaag of op basis van hun profielen toen ze de mol waren? Margriet had volgens mij weinig met tv gedaan voor haar molschap, maar dat begon daarna pas. Om een goede vergelijking te maken zou je verwachten dat je het moet baseren op hun kenmerken tot het moment dat ze geselecteerd werden als mol.In Wikipedia heb je de optie om terug in de geschiedenis te gaan naar een oudere versie van hun Wikipedia pagina. Dit heb ik uiteraard ook gedaan en ik heb de laatste Wikipedia versie gepakt voordat de eerste aflevering van dat seizoen werd uitgezonden. Met uitzondering van seizoenen 5 t/m 8, omdat voor 2009 nog niet elke kandidaat een gedetailleerde Wikipedia pagina had. Seizoenen 5 t/m 8 zijn om die reden ook niet geëvalueerd met het Moldel.
interessant stukje over de verdenkingen van afvallers rond 11:00
Ik denk dat het 'Moldel' hier een fout maakt. Er zou juist meer waarde moeten gehecht aan wat een afvaller daadwerkelijk over zijn verdenking zegt, dan aan wat er volgens de beelden bij de test wordt aangeklikt. Beelden worden namelijk makkelijker gemanipuleerd dan mensen. Er is al zo vaak aangetoond dat die beelden juist niet kloppen, terwijl een kandidaat geen reden heeft om over zijn verdenking te gaan liegen, met als risico om achteraf er nog meer naast te zitten.Ja.... ik denk dat het allebei heel makkelijk te manipuleren is. Heb ook m'n twijfels bij het Moldel op dat punt.
Ik zag dat jullie over mijn 'Moldel' aan het discussiëren waren, dus hierbij heb ik antwoorden op sommige speculaties.
Marije weg. Oftewel de kans dat splinter de mol is lijkt nu wel minimaal 90%, toch?Ja... nog veel meer, denk ik. Splinter zette z'n jokers niet in ...weegt het model ook mee.
Het Moldel vind ik een fascinerend, innovatief en overtuigend experiment, Multifacio. Mocht Splinter dit seizoen de Mol zijn, dan heeft het algoritme zeer goed gewerkt. Toch hoop ik dat het Moldel niet jaar in, jaar uit zal blijven bestaan, zeker niet wanneer het zelflerend is. Voor mij neemt zo’n model veel van de WIDM-glans weg. Ik vraag me ook af wie er, behalve de maker ervan, gebaat bij is wanneer het Moldel elk seizoen erg accuraat is en steeds meer bijleert om nog beter te worden. De drijvende kracht van Wie is de Mol? is nu juist het niet-weten en dat probeert het Moldel intrinsiek te ondermijnen.
Het Moldel en ook de molloten hier geven Rocky geen schijn van kans om nog de mol te kunnen zijn.En ik teleurgesteld dat de mol dan nodeloos geld binnenhaalt bij verschillende opdrachten waar ze perfect kan mollen zonder op te vallen. Nee, dan hoef het echt niet meer!
Ik denk dat regisseur Rick supertrots zal zijn op mol Rocky ::ok::
Maar aan de andere kant, ik hoop ook al vele seizoenen dat er eens voor gekozen wordt om de mol juist meer uit te vergroten in de afleveringen, en dat er eens radicaal tegen de eigen gewoontes ingegaan wordt, puur voor de variatie en de verwarring die dat zal gaan stichten bij de kijker, dus wie weet.Dan gaat je wens in vervulling als Splinter de Mol blijkt te zijn. Splinter is namelijk meer in beeld gekomen dan gebruikelijk.
Aangezien de voorspelling niet klopte, zou ik eerder het model aanpassen.Dat Marije niet de Mol blijkt te zijn betekent nog niet dat de voorspelling niet klopte. Marije had een kans van 50% om de Mol te zijn. Dit is vergelijkbaar met het opgooien van een muntje, bij kop was Marije de Mol. Echter viel het muntje op munt en is Marije dus niet de Mol.
Ja... nog veel meer, denk ik. Splinter zette z'n jokers niet in ...weegt het model ook mee.Klopt, Splinter ging weer door zonder enige joker te gebruiken. Dan maakt hem verdachter voor de Exam Pass Layer. Echter als hij de volgende aflevering beide jokers inzet dan zal dat hem iets minder verdacht maken.
Bizar! Splinter is mijn (en de) mol van 2021. Fijn dat dit algoritme het nog extra bevestigd. Goed werk Multifacio!Dankjewel ::trots::
Toch hoop ik dat het Moldel niet jaar in, jaar uit zal blijven bestaan, zeker niet wanneer het zelflerend is. Voor mij neemt zo’n model veel van de WIDM-glans weg.Helaas ben ik wel van plan om door te gaan met het Moldel, maar om je tegemoet te komen zal ik komende jaren er minder publiciteit aan proberen te schenken.
Maak je geen zorgen: Renee is de MolWe zullen zien. ;) Op gezichtsherkenning scoort Renée overigens wel beter dan Splinter, maar dat even terzijde.
Vorig jaar zat er toch op Twitter ook zo'n account dat telkens hints toevoegde aan zijn "algoritme"? Van widm-hints ofzo? Die was 100% zeker van zijn mol, maar ze viel toch gewoon af nog voor de finale.Het verschil tussen dat algoritme en het Moldel is dat mijn Moldel open source is en dat algoritme was closed source. Bovendien geeft mijn algoritme kansen aan kandidaten in plaats van dat het 1 Mol aanwijst. Hierdoor zie je hoeveel het Moldel nog twijfelt.
Ik hoop wel dat we bij volgende seizoenen gewoon heerlijk zelf kunnen speuren ipv dat er bij afl. 1 in de toekomst al bekend is wie de mol is.Dat gaat nog lang duren voordat hij zo accuraat wordt. Ik denk dat het mij niet gaat lukken om de komende jaren al na aflevering 1 te voorspellen met grote zekerheid wie de Mol is. Alhoewel ik wel van plan met om het Moldel accurater te maken, zodat hij al eerder weet wie de Mol is.
Het Moldel en ook de molloten hier geven Rocky geen schijn van kans om nog de mol te kunnen zijn.Alle layers van het Moldel vinden het zeer onwaarschijnlijk dat Rocky de Mol is. De afvallers zitten op haar, ze komt teveel in beeld, ze heeft niet het karakter om de Mol te zijn en ze is ver gekomen door veel jokers/vrijstellingen te gebruiken. Maar goed we zullen zien. ;)
Was altijd pas geldig bij de drie finalisten dacht ik
Was altijd pas geldig bij de drie finalisten dacht ikVorige week had Marije nog de grootste kans de Mol te zijn, deze week was het als volgend:
Vorige week had Marije nog de grootste kans de Mol te zijn, deze week was het als volgend:
Splinter 94.8%
Renee 5.0%
Charlotte 0.2%
Rocky 0.0%
Dan klopt er toch iets niet. Persoonlijk vind ik het fijn dat we nu al kunnen zien dat gezond verstand het nog steeds wint van een computergestuurd model.
Wel respect voor al het werk, de fout zit simpelweg in de aanname dat alles wat we in de montage zien, ook waar is. Een mens kan onwaarschijnlijkheden er makkelijk uitfilteren, een computer niet.
Maak je geen zorgen: Renee is de Mol en over Moldel heeft straks niemand het meer. ;)
Ik wil even zeggen dat het wel vaker fout zat tot de finale. In de finale zat het altijd juist (waarschijnlijk, omdat in de finale het altijd héél duidelijk is).Als ik het goed begrepen heb, is dit toch het eerste seizoen waarbij er echt voorspeld wordt?
voorkennis over wie uiteindelijk de Mol is kan ook onbewust de invoer van bepaalde data beïnvloeden.Euh, dat is toch ook de bedoeling? Het hele idee van dit soort algoritmes is volgens mij dat je het data voert en het algoritme patronen genereert en dan aan de hand van de data beoordeelt welke patronen juiste voorspellingen doen en welke niet, en zo de parameters bijstelt. Als je het programma niet vertelt wie de mol is, is er geen manier om de data te sturen. Zeker bij een model dat, zoals ik dit moldel begrijp, geen enkele andere aannames doet dan die data. Ik bedoel, alle andere theorieën zijn gebaseerd op een of andere veronderstelling (molpunten bijvoorbeeld, op het idee dat de mol meer dingen doet die forummers verdacht vinden dan de kandidaten).
Euh, dat is toch ook de bedoeling? Het hele idee van dit soort algoritmes is volgens mij dat je het data voert en het algoritme patronen genereert en dan aan de hand van de data beoordeelt welke patronen juiste voorspellingen doen en welke niet, en zo de parameters bijstelt.Precies. Mijn punt was dat dit model nog nooit een Mol heeft voorspeld, in reactie op een ander commentaar dat het in de finale altijd juist zat. Als voorgaande seizoenen slechts gebruikt zijn om het model te juist af te stellen, dan kan er dus geen enkele betekenis gehecht worden aan die voorspellingen.
Overigens, Splinter had 94,8%. Niet 100%. Het idee van 94,8% is dat er een kans van 5,2% is dat het niet klopt. In principe kan dat dus gewoon.Tuurlijk kan dat, dat is deze aflevering zelfs bewezen. Maar als je wilt voorspellen wie de Mol is en keer op keer valt de kandidaat met de meeste waarschijnlijkheid af, dan heeft dit model vooralsnog toch weinig voorspellende waarde.
Als ik het goed begrepen heb, is dit toch het eerste seizoen waarbij er echt voorspeld wordt?
Als in de voorgaande seizoenen het model pas achteraf is toegepast, hecht ik minder waarde aan die voorspellingen. Er zal misschien niet bewust zijn gesjoemeld, maar voorkennis over wie uiteindelijk de Mol is kan ook onbewust de invoer van bepaalde data beïnvloeden.
Omdat het model er flink naast zat, kunnen we voorzichtig concluderen dat we een atypisch seizoen hebben dit jaar.
https://github.com/Multifacio/MoldelNiet gehinderd door enige diepgaande kennis van het moldel kan ik wel een poging tot oppervlakkige interpretatie doen: het klinkt alsof er een bugje zat in de manier waarop de exam layer het gewogen gemiddelde van verschillende meetpunten(?) berekende, en dat Multifacio dat gecorrigeerd heeft. Klinkt als een kleine verbetering, maar of het ook significante gevolgen voor de uitkomst van die laag zou kunnen hebben, geen idee.
Ben wel benieuwd naar de "Exam Drop Layer Geometric Mean fix" van 2 dagen geleden ...of iemand die uit kan leggen. Waarom is het nodig om tijdens een seizoen het Moldel aan te passen. Het zou toch zelflerend moeten zijn ...ook (of juist) als het er helemaal naast zit?
Het is maar goed dat we nog niet vanaf aflevering 6 precies weten wie de mol is, dat houdt het mollen nog leuk voor ons molloten. Zelf goed opletten en je gevoel volgen is ook belangrijk.Ik verwacht de komende seizoenen inderdaad zeker nog niet dat het Moldel na vroege afleveringen (tot en met aflevering 5) er al zeker van is wie de Mol is, maar wie weet. Het zelf blijven speuren naar aanwijzingen blijft dus nog belangrijk.
Rocky weinig in beeld. Goed voor de gezichtsherkenning.Nee, Rocky kwam behoorlijk veel in beeld. In aflevering 1 kwam ze 10.8% in beeld van de keren dat een kandidaat in beeld kwam (10.0% is gemiddeld). In aflevering 2 was dit 15.7% (11.1% is gemiddeld). In aflevering 3 was dit 14.6% (12.5% is gemiddeld). In aflevering 4 was dit 20.5% (14.3% is gemiddeld). En in aflevering 5 was dit 18.5% (16.7% is gemiddeld).
maar voorkennis over wie uiteindelijk de Mol is kan ook onbewust de invoer van bepaalde data beïnvloeden.
Euh, dat is toch ook de bedoeling? Het hele idee van dit soort algoritmes is volgens mij dat je het data voert en het algoritme patronen genereert en dan aan de hand van de data beoordeelt welke patronen juiste voorspellingen doen en welke niet, en zo de parameters bijstelt.Beiden hebben jullie een punt. Je moet enerzijds als een bepaald machine learning model geen goede resultaten biedt voor het verleden een beter machine learning model pakken. Anderzijds is het ook zo dat als je dit blijft doen je uiteindelijk uitkomt bij een model dat altijd werkt voor het verleden, maar niet werkt voor de toekomst. Je moet dus op zeker hoogte een machine learning model pakken dat niet al te sterk is, maar wel sterk genoeg.
Het model is per seizoen steeds getraind over alle data minus het betreffende seizoen.Dat klopt, het Moldel wordt geëvalueerd over alle seizoenen 9 t/m het Renaissance seizoen en gebruikt daarbij telkens de andere seizoenen als training data. Dus voor het evalueren van seizoen 19 worden de seizoenen 9 t/m 18, 20 en het Renaissance seizoen als trainingsdata gebruikt. Dit voorkomt inderdaad dat er geoverfit wordt, echter is het wel zo dat ik als modelleur mijn machine learning modellen wel aanpas op basis van hoe accuraat het was in het verleden, wat wel overfitting kan veroorzaken.
Dus bv de voorspellingen voor seizoen 14 zijn op basis van alle seizoenen behalve 14.
Dat voorkomt overfitting, omdat de testdata niet daadwerkelijk voor de voorspelling wordt gebruikt.
Overigens, Splinter had 94,8%. Niet 100%. Het idee van 94,8% is dat er een kans van 5,2% is dat het niet klopt. In principe kan dat dus gewoon. In ongeveer 1 op de 20 keer gebeurt de mogelijkheid die 5,2% kans had. Het zou heel raar zijn als dat nooit zou gebeuren, want "nooit" is 0%.
Ben wel benieuwd naar de "Exam Drop Layer Geometric Mean fix" van 2 dagen geleden ...of iemand die uit kan leggen. Waarom is het nodig om tijdens een seizoen het Moldel aan te passen. Het zou toch zelflerend moeten zijn ...ook (of juist) als het er helemaal naast zit?Nee, dat Renée een kans van 5.2% had dat was een fout in het design. De Geometric Mean fix (een kleine fix) heeft dit inderdaad opgelost. De fout zat hem hierin dat in aflevering 3 tijdens de opdracht 'Kamerraad' rond de 4 antwoorden per kandidaat bekend werden. Het Moldel en ik wisten beiden niet hoe hier mee om te gaan, omdat dit zich in eerdere seizoenen nog niet vaak heeft voor gedaan. In het vorige design vermenigvuldigde het Moldel gewoon de kansen van alle testvragen met elkaar wat extremere voorspellingen kan geven. Door het nemen van de Geometric Mean over al die kansen, als er meerdere antwoorden van dezelfde kandidaat in dezelfde test worden getoond, heb je stabielere resultaten.
Vertrouwen hebben in modellen is tegenwoordig niet populair, algoritmes zijn al helemaal onbetrouwbaar. Afgaan op vloggers daarentegen. Die kenners zaten al een paar uitzendingen op de goede mol (not). Ik zou zeggen, ga verder met je Moldel, accepteer de kritiek.Daar sluit ik me bij aan. Als bekende Molloten het fout hebben wie de Mol is dan zien mensen dat door de vingers, terwijl als een algoritme het fout heeft dan wordt daar schande over gesproken. Hetzelfde geldt natuurlijk ook voor zelf-rijdende auto's. Op het moment dat er een zelf-rijdende auto een ongeluk veroorzaakt is dat meteen overal in het nieuws. Dit terwijl niemand wat te zeggen heeft over de velen auto ongelukken die veroorzaakt worden door menselijke bestuurders.