Tito studenti zjistili, že jejich testy jsou hodnoceny pomocí AI a …
V pondělí Dana Simmonsová šla dolů a zjistila, že její 12letý syn Lazare pláče. Dokončil svůj první úkol pro sedmý ročník kurzu historie na Edgenuity, online platformě pro virtuální učení. Simmons dostal 50 ze 100. To nebyl praktický test, byla to jeho skutečná známka. “Řekl, že za to všechno musím nastřílet 100 bodů, abych to vynahradil,” řekl telefonát se Simmonsem. Hranice. „Byl jsem úplně naštvaný.“ Zpočátku se Simmons snažil svého syna uklidnit. „Byl jsem trochu dobrý, víte, někteří učitelé zpočátku dostávají velmi tvrdé známky,“ řekl Simmons, učitel dějepisu. Lazare oznámila, že poznámku dostala za necelou sekundu poté, co zveřejnila své odpovědi. Simmons v té době věděl, že neumí číst odpověď učitele – jeho syna klasifikoval algoritmus. Simmons sledoval, jak Lazare dokončil další úkoly. Podíval se na správné odpovědi, s nimiž konečně přišel Vynalézavost. Předpokládal, že umělá inteligence Edgenuity hledá konkrétní klíčová slova, která očekával v odpovědích studentů. A rozhodl se hrát.
Nyní pro každou otázku s krátkou odpovědí Lazare napíše dvě dlouhé věty, za nimiž následuje diskrétní seznam klíčových slov, bez ohledu na to, co se pro danou otázku zdá relevantní. „Otázky jsou …“ Jaká byla výhoda umístění Konstantinopole nad mocí byzantské říše? “ Říká. “Tak se podívejte, dobře, jaká jsou možná klíčová slova s tím spojená?” Bohatství, karavan, loď, Indie, Čína, Střední východ, všechna tato slova. “Chtěl jsem hrát, protože jsem si myslel, že je to snadný způsob, jak získat dobrou známku,” řekla Lazare The Verge a obvykle vylučuje slova. Klíč k článku nebo videu, na kterém je problém založen. Zdá se, že „slovní salát“ je dostačující k získání perfektního hodnocení jakékoli otázky s krátkou odpovědí v testu Edgenuity. Edgenuity nereagoval na opakované žádosti o komentáře, ale online centrum nápovědy společnosti naznačuje, že to může být způsobeno designem. Podle webu dostanou odpovědi na určité otázky 0%, pokud neobsahují klíčová slova, a 100%, pokud obsahují alespoň jedno. Ostatní otázky získají přesné procento bodů na základě počtu zahrnutých klíčových slov.
Aktualizace algoritmu. Dostal to: dvě celé věty, následované slovním salátem se všemi klíčovými slovy, která by mohla být vhodná. 100% na každou misi. Studenti na @ EdgenuityInc, tady je váš lístek. Přešel z F do A +, aniž by se cokoli naučil. – Dana Simmons (@DanaJSimmons) 2. září 2020
Protože COVID-19 povzbuzuje americké školy, aby přesunly vzdělávání na online nebo hybridní modely, většina zadává některé platformy pro vzdělávání a hodnocení virtuálních vzdělávacích programů. Edgenuity nabízí více než 300 online kurzů pro studenty středních a středních škol v předmětech od matematiky po společenské vědy, od tříd AP až po volitelné předměty. Skládá se z testů a kvízů, tréninkových videí a virtuálních úkolů. Edgenuity poskytuje lekce a hodnocení úkolů. Lazareovy skutečné lekce matematiky a historie jsou v současné době vyučovány prostřednictvím platformy; Unified School District v Los Angeles je kvůli epidemii plně online. (Okres pro tento příběh odmítl komentovat.) Za každý úkol nyní dostanete 100. Otázky s krátkou odpovědí samozřejmě nejsou jediným faktorem ovlivňujícím známky Edgenuity – přednášky Lazare vyžadují další formáty, včetně otázek s výběrem odpovědí a jednoslovných záznamů. Vývojář obeznámený s platformou odhadoval, že krátké odpovědi představovaly méně než pět procent obsahu kurzu Edgenuity a většina z osmi studentů, s nimiž The Verge hovořili pro tento příběh, potvrdila, že takové úkoly byly v jejich práci menšinou. Taktika rozhodně ovlivnila výkon třídy Lazare – v každé misi nyní zaznamenává 100 bodů. Lazare není jediná, která hraje se systémem. Podle webových stránek společnosti platformu v současné době využívá více než 20 000 škol, včetně 20 z 25 největších školních obvodů v zemi, a dva studenti z různých středních škol Lazare mi řekli, že našli podobný způsob podvádění. Obvykle zkopírují text své otázky a vloží jej do pole pro odpověď, pravděpodobně za předpokladu, že obsahuje relevantní klíčová slova. Někdo mi řekl, že číslo použili za poslední semestr a „téměř vždy“ získal plný kredit. Další student střední školy využívající Edgenuity před několika lety řekl, že se někdy pokouší rozesílat fráze týkající se otázek. Vůbec sem netušil”. Metoda fungovala „většinu času“. (Dali jsme anonymitu některým studentům, kteří se přiznali k podvádění, aby se nedostali do problémů.) Student, který mi řekl, že nemůže bez obav projít kurzem Algebra 2, řekl, že může najít seznamy klíčových slov. přesné nebo vzorové odpovědi hledající otázky s krátkou odpovědí; Říká, že je může najít. „devět z deseti“ online. Ale namísto výčtu termínů, které našel, se pokusil přidat ke každé ze svých odpovědí tři. („Jakýkoli podvodník nedosáhne dokonalého skóre,“ vysvětlil.) Austin Paradiso, který promoval, ale na střední škole používal Edgenuity pro mnoho tříd, také oponoval slovním salátům, ale jeho klíčové slovo se několikrát přiblížilo. Fungovalo to na 100 procent. “Vždy jsem se snažil, aby odpověď byla alespoň částečně kompatibilní, protože vrhat spoustu klíčových slov do vstupního pole se mi zdálo trochu levné,” řekl Paradiso. “Ale kdybych byl trochu vágnější, mohl bych snadno napsat náhodný řetězec slov souvisejících s otázkou a získat 100 procent.”
Učitelé mohou zkontrolovat jakýkoli obsah zveřejněný studenty a přepsat hodnocení přiřazená k Edgenuity. Student Algebra 2 říká, že slyšel, že někteří studenti byli chyceni při vytváření kombinací klíčových slov. Ale většina studentů, se kterými jsem mluvil, a Simmons řekl, že nikdy neviděli učitele, který by jim změnil známku Vynalézavost. „Kdyby se učitelé dívali na odpovědi, bylo by jim to jedno,“ řekl jeden student. Přechod k Edgenuity byl pro některé školy křehký: rodiče v okrese Williamson v Tennessee se proti používání platformy vzbouřili. Tvrdí, že četné technologické závady ovlivňují známky jeho dětí. Sousedství v Steamboat Springs v Coloradu přerušilo registrační období poté, co studenti, kteří se pokoušeli o zápis, uškrtili Edgenuity. Simmons je rád, že se Lazare naučil hrát tréninkovým algoritmem; Je to určitě užitečná dovednost. Připouští však, že jeho lepší známky neodrážejí lepší porozumění studijním materiálům, a obává se, že by takové zneužívání mohlo zvyšovat nerovnosti mezi studenty. “Získává A +, protože jeho rodiče mají magisterský titul a zajímají se o technologie,” řekl. “Jinak stejně dostaneš F.” Co vám to říká … digitální propast v tomto online vzdělávacím prostředí? “
