YouTube hoří, protože doporučuje videa dětí s nevhodnými komentáři

Více než rok po skandálu s kontrolou obsahu pro děti v oblasti bezpečnosti dětí na YouTube trvá pouze několik kliknutí, aby algoritmy doporučení platformy přesměrovaly vyhledávání videí „bikin“ od dospělých žen na tyto klipy. Děti v malém oblečení cvičily gymnastiku ohybu těla. nebo si vezměte ledovou „výzvu“ nebo nanuk.

YouTube Tvůrce Matt Watson poukázal na tento problém v kritickém příspěvku Reddit a uvedl, že našel desítky dětských videí, kde uživatelé YouTube zveřejňují nevhodné komentáře a časová razítka v dolní části obrazovky, což společnost odsoudilo za to, že ji nevlastní. Vyhýbal se tomu, co popsal jako „soft-core“ Pedophile Ring “pracující pouhým okem na své platformě.

Také zveřejnil video na YouTube, které ukazuje, jak algoritmus doporučení platformy tlačil uživatele do „červí díry“ pedofilie a obviňoval uživatele z napomáhání a monetizace sexuálního zneužívání dětí.

Byli jsme schopni snadno replikovat chování algoritmu YouTube, který Watson popsal v relaci soukromého prohlížeče, přičemž minulost navrhovala, abychom po kliknutí na dvě videa dospělých žen v bikinách sledovali video s názvem „Sweet Sixteen Pool Party“.

Kliknutím na postranní panel YouTube zobrazíte různá prepubertální videa dívek v sekci „až do příště“, kde algoritmus obsahuje relevantní obsah, který uživatele povzbuzuje k dalšímu klikání.

Mezi videi, která nám na tomto postranním panelu navrhli, byly miniatury zobrazující gymnastické pózy, ukazující „ranní rutiny“ nebo šířící nanuky nebo nanuky.

Watson uvedl, že pro něj bylo snadné najít videa s nevhodnými / dravými komentáři, včetně sexuálně explicitních emodži a časových razítek, která byla vytvořena za účelem zvýraznění, zkrácení a sdílení nejzajímavějších pozic a / nebo momentů ve videích nezletilých.

Našli jsme také řadu příkladů nevhodných časových razítek a komentářů k dětským videím, které doporučuje zobrazit algoritmus YouTube.

Některé komentáře od ostatních uživatelů YouTube odsoudily ty, kteří ve videích uváděli sexuálně explicitní komentáře k dětem.

V listopadu 2017 na základě studie BBC a Times někteří významní inzerenti zmrazili výdaje na platformě YouTube a Times objevil podobně obscénní komentáře k dětským videím.

Dříve téhož měsíce byl YouTube také kritizován za nekvalitní obsah zaměřený na děti jako diváky na své platformě.

Společnost oznámila řadu změn zásad týkajících se videí zaměřených na děti, včetně skutečnosti, že bude nutné deaktivovat komentáře policie k videím pro děti a nevhodná videa o dětech. zcela.

U některých dívčích videí, která YouTube doporučuje zobrazit, byly deaktivovány komentáře, což naznačuje, že jejich AI již dříve zjistila, že bylo zveřejněno příliš mnoho nevhodných komentářů (z důvodu zásady deaktivace komentářů u klipů s dětmi). Považováno za „nevhodné“) – bylo však navrženo, aby byla samotná videa sledována při testovacím vyhledávání, které začíná frází „bikini ride“.

Watson také říká, že našla reklamy zobrazované na videích některých dětí s nevhodnými komentáři, a tvrdí, že našla odkazy na dětskou pornografii, které byly také zveřejněny v komentářích na YouTube.

Tyto závěry jsme nemohli potvrdit v našich krátkých testech.

Zeptali jsme se YouTube, proč jejich algoritmy mají tendenci doporučovat videa nezletilých, i když diváci začínají sledovat videa dospělých žen, a proč stále byly problémem nevhodné komentáře k videím nezletilých. O rok později bylo stejné téma zdůrazněno investigativní žurnalistikou.

Společnost nám zaslala následující prohlášení v reakci na naše otázky:

Veškerý obsah, včetně komentářů, které ohrožují nezletilé, je nechutný a na YouTube proti němu máme výslovné zásady. Tyto zásady uplatňujeme agresivně, hlásíme je příslušným orgánům, odstraňujeme je z naší platformy a rušíme účty. Abychom tento problém vyřešili, nadále intenzivně investujeme do partnerství s technologiemi, vybavením a charitativními organizacemi. Máme přísné zásady, které určují, kde povolíme zobrazování reklam, a důrazně je prosazujeme. Když najdeme obsah, který porušuje naše zásady, okamžitě přestaneme zobrazovat reklamy nebo jej úplně odstraníme.

Mluvčí YouTube také uvedl, že Watson přezkoumává její zásady s ohledem na její hlavní body a uvedla, že je v procesu kontroly určitých videí a komentářů obsažených ve videu, a že byl také odstraněn nějaký obsah. v důsledku kontroly

Mluvčí sice zdůraznil, že většina videí označených Watsonem jsou nevinné nahrávky dětí, které dělají každodenní práce. (I když je samozřejmě problém znovu použít nevinný obsah a rozdělit čas na urážlivé uspokojení a vykořisťování.)

Mluvčí dodal, že YouTube spolupracuje s Národním centrem pro pohřešované a zneužívané děti na hlášení účtů, u nichž bylo zjištěno, že o dětech mají nevhodné komentáře.

V širší diskusi na toto téma mluvčí uvedl, že určování kontextu zůstává výzvou pro moderační systémy AI.

V oblasti lidské kontroly uvedl, že platforma má v současné době asi 10 000 lidských recenzentů pověřených hodnocením obsahu, který byl označen ke kontrole.

Dodal, že objem videoobsahu nahraného na YouTube je přibližně 400 hodin za minutu.

V moderních obsahových platformách generovaných uživateli stále existuje značná asymetrie moderování obsahu, ai když existují lidské moderátorské týmy, s nedostatečnou umělou inteligencí k vyplnění mezery kvůli pokračující slabosti v porozumění kontextu, 100% platforem je beznadějně nedostatečně vybaveno a nedostatečně vybaveno ve srovnání s škálou úkolů .

Dalším klíčovým bodem, který YouTube nezmiňuje, je zjevné napětí mezi obchodními modely založenými na reklamách, které zpeněžují obsah na základě zapojení publika (jako je váš), a otázkami zabezpečení obsahu, které je třeba pečlivě řešit. obsah a kontext, ve kterém se nachází. byl spotřebován uvnitř.

Rozhodně to není poprvé, kdy byly algoritmy doporučení YouTube použity pro negativní účinky. V posledních letech byla platforma obviňována z automatizace radikalizace tím, že diváky nasměrovala k extremistickému či dokonce teroristickému obsahu, což přimělo YouTube, aby v roce 2017 oznámila další změnu zásad, pokud jde o způsob zpracování obsahu vytvořeného extremisty. známý.

Širší sociální dopad algoritmických návrhů, které nafukují konspirační teorie a / nebo propagují vědecký nebo zdravotnický obsah, který je neintuitivní, byl opakovaně vzbuzován znepokojením, a to i na YouTube.

A právě minulý měsíc YouTube uvedl, že sníží návrhy týkající se „hraničního obsahu“ a „dezinformuje uživatele škodlivými způsoby“. Uvádí příklady, jako jsou videa propagující falešný zázračný lék na vážnou nemoc. nebo tvrdí, že Země je plochá, nebo „zjevně nepravdivá tvrzení“ o historických událostech, jako je teroristický útok z 11. září v New Yorku.

„I když se tato změna bude týkat méně než 1 procenta obsahu na YouTube, věříme, že omezení doporučení takových videí bude znamenat lepší zážitek pro komunitu YouTube,“ napsal v té době. “Lidé mají jako vždy přístup ke všem videím, která splňují naše pokyny pro komunitu, a případně se mohou objevit v návrzích odběratelů kanálu a ve výsledcích vyhledávání.” Věříme, že tato změna nastolí rovnováhu mezi udržováním platformy pro svobodu projevu a plněním naší odpovědnosti vůči uživatelům. “

YouTube uvedl, že změna algoritmických návrhů v konspiračních videích by byla přírůstková, ale zpočátku by to ovlivnilo doporučení v malé skupině videí ve Spojených státech.

Poznamenal také, že vylepšení modulu doporučení budou zahrnovat odborníky na technologii strojového učení a lidské hodnotitele a odborníky, kteří pomohou trénovat systémy AI.

„Postupem času, jak budou naše systémy přesnější, rozšíříme tuto změnu do dalších zemí.“ I když je to jen jeden další krok v probíhajícím procesu, odráží to náš závazek a smysl pro zodpovědnost zlepšit zkušenosti s doporučením YouTube. ” Další.

Zatím není jasné, zda YouTube tuto změnu zásad rozšíří a rozhodne, zda by její platforma měla v budoucnu převzít větší odpovědnost za způsob, jakým nabízí a nabízí videa pro děti ke vzdálené spotřebě.

Politický tlak může být hnací silou pro regulaci online platforem, včetně výzvy, aby internetové společnosti čelily jasným právním odpovědnostem a dokonce čelily zákonné povinnosti vůči uživatelům ohledně obsahu, který distribuují a zpeněžují. .

Například britské regulační orgány učinily z právních předpisů v oblasti sociálních médií a bezpečnosti internetu politickou prioritu a vláda letos v zimě zveřejní bílou knihu, ve které nastíní své plány pro dominantní platformy.