Signal Score uitgelegd: hoe Forenta de reputatie van builders meet

De meeste reputatiescores werken totdat ze ophouden te werken. Op grote arbeidsplatforms zijn gemiddelde beoordelingen twee decennia lang gestaag gestegen, niet omdat het werk beter wordt, maar omdat het beoordelingssysteem zelf prikkels creëert die scores omhoog duwen. Wanneer 85 procent van de aannemers de hoogst mogelijke beoordeling ontvangt, vertelt de score je bijna niets meer over de variatie in kwaliteit die er daadwerkelijk toe doet.

Onderzoek van Filippas, Horton en Golden dat meer dan 20 jaar reputatiedata bijhield, vond precies dit patroon: het aandeel aannemers dat topscore-beoordelingen ontving steeg van ongeveer 33 procent naar 85 procent over de periode.¹ Het signaal verbeterde niet. Het inflateerde totdat het instortte.

Waarom beoordelingssystemen inflateren

Het inflatieprobleem heeft een structurele oorzaak. Op de meeste platforms zijn reviews sequentiëel: de ene partij dient zijn beoordeling in, de andere ziet die voordat hij reageert. Dit creëert een sterke prikkel om strategisch in plaats van eerlijk te beoordelen. Fradkin, Grewal en Holtz bestudeerden dit op Airbnb en vonden dat overschakelen naar gelijktijdig beoordelingsindienen, waarbij geen van beide partijen de beoordeling van de ander ziet voor het schrijven van hun eigen beoordeling, de positieve vertekening aanzienlijk verminderde en de informatieve waarde verhoogde.² Het mechanisme is eenvoudig: als je niet kunt zien wat de andere partij over jou zei, beoordeel je wat je daadwerkelijk hebt ervaren.

Gaming vergroot het probleem

Nep- en gestimuleerde reviews verergeren de inflatie. Onderzoek door Hollenbeck en collega’s documenteerde systematisch misbruik van beoordelingssystemen op grote platforms, waarbij verkopers positieve beoordelingen genereerden en negatieve onderdrukten via georkestreerde verzoeken, reviewuitwisselingen en in sommige gevallen directe aankoop.³ Luca en Zervas (2016) vonden vergelijkbare patronen op Yelp, waar concurrentiedruk een betekenisvol aandeel reviewfraude dreef.⁴

Wanneer het aandeel topscore-reviews van 33% naar 85% gaat, vertelt de score niets meer nuttigs over het onderste derde. Beoordelingsinflatie is geen bug in slecht ontworpen systemen. Het is de voorspelbare uitkomst van de meeste beoordelingssysteemontwerpen.

Waaruit Signal Score is opgebouwd

Signal Score is een reputatielaag voor de builders die op Forenta samenwerken. Het is één onderdeel van hoe samenwerkingsfit wordt beoordeeld, niet de kern van het product. Binnen die scope neemt het een andere aanpak door te putten uit gedragssignalen in plaats van te vertrouwen op één zelfingevulde beoordeling.

Trial-voltooiing is de sterkste enkelvoudige factor: heeft de builder daadwerkelijk afgerond waarvoor ze zich hadden verbonden, binnen het afgesproken tijdsbestek en de afgesproken scope? Dit is meetbaar, moeilijk te vervalsen en direct relevant voor wat projectstarters belangrijk vinden. Samenwerkingsbeoordelingen voegen een tweede laag toe, gericht op communicatie, responsiviteit en de kwaliteit van de werkrelatie. Beide partijen beoordelen nadat de trial is voltooid, gelijktijdig, zonder elkaars beoordeling eerst te zien.

Profielvolledigheid draagt een kleinere weging bij. Een volledig, eerlijk profiel is een lage lat, maar het signaleert betrokkenheid bij het platform. Consistente, relevante platformactiviteit telt zwaarder dan alleen inlogfrequentie. Verwijzingen van andere high-signal leden wegen mee in verhouding tot het eigen trackrecord van de verwijzer: een aanbeveling van iemand die meerdere succesvolle trials heeft voltooid betekent iets anders dan een aanbeveling van een nieuw lid.

Wat Signal Score bewust uitsluit: zelfingevulde credentials, betaalde zichtbaarheidsboosts en aanbevelingen die niet verbonden zijn aan echte samenwerking. De score weerspiegelt wat een builder daadwerkelijk heeft gedaan op het platform, niet wat ze over zichzelf beweren.

Tiers, planboosts en wat ze betekenen

Het tiersysteem, Starter, Rising, Active, Trusted, Top Builder, weerspiegelt cumulatief trackrecord in plaats van een momentopname. Een builder stijgt van Rising naar Active door aanhoudend goed werk over meerdere trials. Trusted of Top Builder bereiken betekent consistentie over een langere periode aantonen, niet slechts één sterke samenwerking. Een enkele uitzonderlijke samenwerking kan een uitschieter zijn. Een trackrecord over velen is dat minder waarschijnlijk.

Je abonnement beïnvloedt één specifiek ding: de matchscore die bij AI-matching wordt gebruikt krijgt een kleine boost, +8% voor Pro en +15% voor Max, bovenop wat het onderliggende signaal al oplevert. Het is belangrijk te begrijpen wat die boost niet doet: hij kan geen onderliggend trackrecord vervangen. Een Max-plan builder met een dun oprecht signaal zal een Lite-plan builder met een sterk signaal niet overtreffen. De boost versterkt wat er al is; de Signal Score zelf verandert er niet door.

Waarom het tijd kost, en waarom dat bewust zo is

Elke nieuwe builder op Forenta begint op Starter, ongeacht externe reputatie, jaren ervaring of credentials. Dit is een bewuste keuze. Een score die gevoed kon worden met externe credentials zou vanaf het begin te gamen zijn. Iemand zou een geselecteerde selectie van eerder werk kunnen importeren om zijn startpositie op te blazen.

Een score die echte samenwerking op het platform vereist om op te bouwen, betekent dat wanneer je een Active of Trusted builder ziet, de score iets weerspiegelt dat daadwerkelijk hier is gebeurd, met echte tegenpartijen die de ervaring eerlijk hebben beoordeeld. De eerlijke afweging is dat nieuwe builders met oprecht sterke vaardigheden een eerste periode van trackrecord opbouwen tegemoet gaan. Het alternatief, scores versneld optrekken op basis van zelfingevulde credentials, zou het signaal voor iedereen ondermijnen.

Wat deze analyse niet dekt

Dit artikel beschrijft de ontwerpprincipes van Signal Score en het onderzoek dat ze onderbouwt. Het openbaart niet de specifieke wegingsformule voor elke input, die verder verfijnd wordt naarmate het platform meer leert over wat daadwerkelijk goede samenwerkingsresultaten voorspelt. Het behandelt geen randgevallen, zoals hoe de score reageert op betwiste trials of onvolledige trials die in onderling overleg eindigen. Signal Score is versie één. Updates zijn te verwachten.