Szerkesztő:Tgr/Jelölt változatok hatásának elemzése/en

Magyar változat

In a nutshell

We looked at two questions: 1) Does the partial disabling of flagged revisions help with the problem of editor decline / stagnation? 2) How much extra load does it put on patrollers? (The third question would the frequency of readers seeing vandalized content, but we did not have the capacity to calculate that.)

• The number of anonymous edits increased by ~30%; the number of anonymous editors by ~100% (although by the nature of anonymity, the latter is less reliable). We did not see any other effect: there was no increase in the registration rates; there was a slight increase in the number of edits by active editors and by logged-in editors, but it's hard to see it as a trend (the increase started a few months before the config change). So it seems that there is little impact on the growth of the editor community; in the future, if we find a good way to convert anonymous editors (e.g. with targeted messages after they edit), it might increase the efficiency of that.
• Th ratio of bad faith or damaging edits grew minimally (2-3 percentage points); presumably it is a positive feedback for vandals that they see their edits show up publicly. The absolute number of such edits grew significantly more than that, since the number of anonymous edits grew; the two effects together resulted in about 500 extra vandal edits and 800 good-faith damaging edits per month. The number of productive anonymous edits increased by 2000 per month. (Before disabling, the status quo way about 1000 vandal edits, 2000 damaging non-vandal edits and 7000 productive edits anonymously per month.)

What are flagged revisions?

Flagged revisions are a software feature to support change patrolling, by which patrollers can mark the pages or page revisions they have reviewed as correct. The software has two main functions:

1. it shows which changes have already been reviewed, so patrolling work can be distributed more efficiently (patrollers don't have to waste time on reviewing changes which have already been reviewed by another patroller, and pages left unpatrolled are flagged);
2. it hides unreviewed changes from readers (non-logged-in users).

The first function is clearly useful and a big improvement to patrolling work. The second does on one hand prevent readers from seeing articles in their vandalized state, and possibly demotivates vandals; on the other hand it decreases the motivation of newbie or anonymous editors as well, as their edits often don't show up for a long time (often days or weeks), and they get confused when text that shows up during editing is different from what they save before (where unreviewed changes were hidden). This might contribute to the declining number of editors. (Very active editors doing reliable work can apply to the list of trusted users whose edits show up immediately. Currently the list contains 750 users, which is about half percent of all editors.) There was much debate on which effect is more prominent, and which is more important; in the end the community of the Hungarian Wikipedia decided to run an experiment by disabling the second functionality. After some delay this experimental change took place in April 2018; this page is a comparative analysis of the roughly one-year periods before and after the change.

Number of editors

Number of active editors (users with any edits in the last 30 days).

Number of monthly registrations.

Source: Wikistats. The purple zone is the experimental period.

Active editors have been growing slightly since summer 2017; there was no change to this during the experimental period. The growth between June 2017 and April 2018 is no larger than the random fluctuations in the (stagnating) 2015-2017 period, so it's hard to tell whether there was a random increase for a few months, followed by further increase caused by partially disabling flagged revisions; or growth due to some unknown cause that started half to one year before the experimental period and remained unchanged during it. The number of registrations has been basically constant since 2016 (before that it was declining slightly during 2012-16 and declining rapidly before that). There is no clear change during the experimental period.

Number of edits

Number of anonymous edits.

Number of logged-in edits.

Source: Wikistats. The purple zone is the experimental period.

The number of anonymous edits grew spectacularly during the experimental period; it has shown a growing trend before that, but to a much smaller extent (and, like with the previous sections, it's hard to say whether that was a real trend or just fluctuation). The number of logged-in edits is mostly stable; there is no clear trend either before or during the experimental period (although from the earlier 60-80 thousand range it has stabilized in the 70-80 thousand range lately).

Vandalism and damaging edits

A vandál vagy káros szerkesztések számát az ORES segítségével tudjuk becsülni. Az ORES egy osztályozó algoritmus, amit a magyar Wikipédia szerkesztői betanítottak a problémás és/vagy rosszindulatú szerkesztések felismerésére; a friss változtatások modern felületén a „Szinte biztosan jó” / „Problémák lehetnek” / „Valószínűleg problémák vannak” / „Szinte biztosan problémák vannak” illetve a „Szinte biztosan jóhiszemű” / „Rosszhiszemű lehet” / „Valószínűleg rosszhiszemű” / „Szinte biztosan rosszhiszemű” szűrők tartoznak hozzá. Az ezen szűrők által a jelölt változtatások működésének átállítása előtti és utáni egy-egy évben felcímkézett szerkesztések gyakorisága azt mutatja, hogy a vandalizmusok, és jó szándékú, de nem hasznos szerkesztések aránya is nőtt, de csak elhanyagolható mértékben (2-3%-ot).

Az ORES minden szerkesztésre egy 0-1 közötti pontszámot ad arra, hogy mennyire gondolja valószínűnek, hogy vandalizmus lenne (ill. egy másik pontszámot arra, hogy nem hasznos); ebből úgy kapunk darabszámot, ha megállapítunk egy korlátot (pl. 0.8 fölött vandalizmusnak vesszük, alatta nem). A fent említett frissváltoztatás-szűrökhöz egy-egy ilyen beépített korlát tartozik. A „Valószínűleg rosszhiszemű” szűrő a megjelölt szerkesztések mennyiségét nézve nagyjából jól illik a kézi vizsgálattal beazonosított vandalizmushoz (pl. [1], [2]); a problémás szerkesztésekre nem volt jó összehasonlítási alap, ott csak feltételeztem, hogy a „Valószínűleg problémák vannak” szűrő határértéke jó kritérium. Ezekkel dolgozva az alábbi grafikonokat kapjuk:

A „Valószínűleg problémák vannak” (kék) és „Szinte biztosan problémák vannak” (piros) szűrők által megjelölt szerkesztések aránya az összes anonim szerkesztés között. (Pontozottan az egy évvel korábbi számok.)

A „Szinte biztosan jóhiszemű” (zöld) / „Rosszhiszemű lehet” (kék) / „Valószínűleg rosszhiszemű” (piros) / „Szinte biztosan rosszhiszemű” (sárga) szűrők által megjelölt szerkesztések aránya az összes anonim szerkesztés között. (Pontozottan az egy évvel korábbi számok.)

A „Problémák lehetnek” szűrő által megjelölt szerkesztések aránya az összes bejelentkezett szerkesztés között.

nyers adatok; részletek: T209224

A nem anonim szerkesztők esetén ritkák a problémás szerkesztések (havi pár tucat), ezért ezeket figyelmen kívül hagyhatjuk. (A linkelt forrásban elérhetőek róluk számszerű adatok.) Az anonim szerkesztések között a fentiek alapján a vandalizmusok száma a kikapcsolás után 11%-ról 13%-ra nőtt, a nem hasznos szerkesztések száma (ezekbe az ORES a vandalizmusokat is beleszámolja) 32%-ról 35%-ra. Figyelembe véve, hogy az anonim szerkesztések teljes száma is kb. 6000-ről 9-10000-re nőtt, a vandalizmusok száma havonta körülbelül 500-zal, a jó szándékú, de problémás szerkesztések száma 800-zal nőtt (a hasznos szerkesztések száma mintegy 2000-rel).

A vandál / nem hasznos anonim szerkesztések aránya viszonylag stabil, csak a jelölt változatok részleges kikapcsolásának hatására változott meg. Az összes anonim szerkesztés száma a kikapcsolás előtt mintegy tíz hónappal kezdett nőni; ami a kikapcsoláskor kissé felgyorsult; nehéz megmondani, hogy a növekedés nagy része mindenképp bekövetkezett volna-e, vagy csak véletlen fluktuációról volt szó.

Milyen más méréseket próbáltunk?

Egyéb kísérletek, amik nem adtak hasznos eredményt:

• A WMF által nyújtott szerkesztő aktivitás szerint bontott statisztikák (pl. az adott hónapban 1-4 szerkesztést tevő szerkesztők száma): [3], [4]. Mint kiderült, ezekbe az IP-címről jövő szerkesztéseket is beleszámolják, így nem sok mindenre jók.
• Az első hónapjukban 5/25/100 szerkesztést elérő szerkesztők száma. [5] A kikapcsolás környékén nem volt látványos változás (kis mértékű változások beazonosításához kevés az adat).
• Az elmúlt 30 napban legalább 5 illetve 25 szerkesztést végzett szerkesztők regisztrációs dátumának korfája. [6] A kikapcsolás környékén nem volt látványos változás (kis mértékű változások beazonosításához kevés az adat).

Impresszum

A szerkesztők, szerkesztések és regisztrációk számával kapcsolatos statisztikák vizsgálatát és trendanalízisét Samat, az ORES-zel kapcsolatos méréseket és a más mérések szakaszban lévő kísérleteket Tgr végezte. (Előbbi jóval bővebben itt tanulmányozható.)