Pod mým videem o citování ChatGPT se objevil komentář od mého kolegy, který ve mně nahlodal tvrzení, že bychom měli citovat umělou inteligenci. Upřímně jsem si musel srovnat myšlenky a výsledkem je moje odpověď v podobě tohoto článku.
Komentář na YouTube
Dobrý den, pane kolego, já jsem toho názoru, že by chatboty neměly být vůbec v závěrečné práci citovány. Stejně tak ani například Wikipedia. Student by měl studovat z ověřených zdrojů. Tj. hlavně primární zdroje (vědecké časopisy, sborníky, patenty…), popř. zdroje sekundární (učebnice, monografie). Na některých školách se nedoporučují ani zdroje terciární – například skripta. Natož pak chatboty.
Moje odpověď
Vážený pane kolego, děkuji Vám za věcný komentář, se kterým souhlasím.
Také nabádám studenty k tomu, aby se vyhýbali sekundárním citacím (citace citace) a aby v maximální míře citovali primární zdroj (autora původní myšlenky). Jedině tak nemůže dojít ke zkreslení obsahu někým jiným.
Kdy citovat interní komunikaci s chatboty?
Chatboti se ale budou využívat čím dál častěji a v některých případech nemusí být možné / nebude možné dohledat a ověřit jejich tvrzení. V takovém případě by měl být citován chatbot.
Je potřeba zvážit výhody i rizika
Samozřejmě musí brát autoři ohled na rizika, o kterých mluvím i ve videu (např. překladové plagiátorství, pochybné zdroje informací, apod.). Souhlasím s Vašim kvalitativním srovnáním chatbota s Wikipedií, kterou akademici nemají rádi.
Na druhou stranu, chatbot není statický obsah. Je to technologie, která dokáže dostupné informace propojovat a generovat z nich vlastní závěry.
Že ty závěry nemusí být kvalitativně až tak špatné, dokazuje úspěch ChatGPT v testu pro získání lékařského oprávnění. Co je pro mě však největším překvapením, tak prý odpovědi na některé otázky byly nejen správné ale také inovativní.
Chatbot tak není jen statický obsah
Na podobném principu totiž fungují po metodické stránce i rozhovory s respondenty. Ani u nich nemusí být pro studenta vždy snadné, aby všechna tvrzení dokázal ověřit.
Právě proto jsem ve videu uváděl, že má student přiznat interní komunikaci s někým (něčím) jiným, než je sám autor.
No, čeká nás na akademické půdě pravděpodobně mnoho diskuzí nad požadavky a pravidly, která by měli studenti v souvislosti s umělou technologií dodržovat. Docela se na to těším!
Pavel Semerád
Já například chatbota využil na zpracování většího objemu dat, potřeboval jsem pro různá místa vygenerovat souřadnice, abych s nimi dál mohl pracovat v rámci práce. Těch dat nebylo málo a ručně zpracovávat by bylo na týden a žádný jednoduchý nástroj jsem na netu nepotkal. Chat bot to měl za 5 minut hotový. Náhodně jsem vybral několik hodnot a všechny trefil na výbornou.
Nepoužil jsem přímo text od chatbota do práce, ale na jeho odpovědích stojí část výsledků 😀
k citacím z wiki, v minulosti jsem v práci několikrát citoval z wiki, ale to do citací uvést prostě nemůžete, to je jak červený hadr na býka, takže z referencí si člověk našel odkud že ta informace asi bude a ocitoval onen zdroj. upřímně, kdo kouká jestli ty citace/parafráze odpovídají…
Chtěl bych se ozvat k této části textu: „Souhlasím s Vašim kvalitativním srovnáním chatbota s Wikipedií, kterou akademici nemají rádi.“ Já s ní totiž ostře nesouhlasím.
Wikipedie sice možná není tak důvěryhodná jako kvalitní recenzovaný časopis nebo kniha, ale přece jenom články v ní určitým ověřením prochází. Je jistě možné v ní vytvořit zcela falešnou informaci, ale také je možné tuto informaci snadno odhalit a smazat nebo napravit. V tomto ohledu je na tom Wikipedie lépe než noviny a dost možná i lépe než běžné časopisy.
Chatbot nemá žádnou kontrolu, a co je horší, ani nemá žádnou motivaci. Je to prostě algoritmus, který z dostupných dat něco vybere – podle kritérií, která jsou obvykle v lepším případě utajená, v horším případě nevysvětlitelná (to je jeden z velikých problémů, se kterými se dnešní AI snaží nějak vyrovnat). V případě ChatGPT je tím kritériem statistická blízkost skupin znaků napříč trénovacím datovým souborem, tzn. jeho výsledkem dokonce není „článek k danému tématu, který vytvořil neznámý člověk s neznámou agendou“ jako u Wikipedie, ale „statisticky nejběžnější poskládání ‚slov‘ za sebe bez ohledu na to, co znamenají“. Rozhodně není pravda, že „chatbot […] je technologie, která dokáže dostupné informace propojovat a generovat z nich vlastní závěry.“
—
Co se týče citování chatbota, nerozumím, k čemu by mělo být dobré. Budu-li citovat Wikipedii, je to sice nespolehlivý zdroj, ale díky té citaci je čtenář schopen dohledat, co zrovna v té citované verzi skutečně bylo napsáno a citovaná tvrzení ověřit z dalších zdrojů. U chatbota nikdy nedokážeme citovat tak, aby byl výsledek reprodukovatelný, protože je dynamicky generován v okamžiku dotazu a nejspíš ovlivněn obrovským množstvím kontextových parametrů. Čemu tedy pomůže citace? Větší smysl by mi dávalo, uvést přesně znění dotazu (v případě pokročilého chatbota typu ChatGPT ne jednoho, ale celé interakce) a přesné znění odpovědi společně s uvedením, že jde o odpověď chatbota. Sice je to z pohledu důvěryhodnosti informace zcela k ničemu, ale aspoň má čtenář veškeré dostupné podklady.
Vážený pane kolego,
děkuji Vám za komentář a dovolím si na něj reagovat. Jsem si vědom, že některá má tvrzení mohou být diskutabilní (i kvůli obtížnosti tématu, času a prostoru), proto se to pokusím vysvětlit lépe.
Akademici – a já mezi ně patřím také, protože mi její využití kdysi dávno vytkl oponent u bakalářky -, nemají rádi citace z Wikipedie kvůli jejímu pomíjivému charakteru. O možnosti dohledat verzi z konkrétního data samozřejmě vím. Ale co uděláte, když zrovna v tu chvíli, kdy student cituje, bude na Wikipedii nějaká nepřesnost a on ji převezme. Z tohohle pohledu je lepší použít zdroj s redakční uzávěrou a kontrolou před publikováním. Zdroj je nejdříve napsán a oponován (s různou mírou kvality dle konkrétního média) a teprve následně je zveřejněn.
Pozor, to neznamená, že bych Wikipedii nevyužíval. Sám její využití doporučuji studentům, kteří se potřebují zorientovat v tématu. A co mám na tetě Wiki opravdu rád, je uvedení použitých zdrojů. Díky tomu lze Wikipedii použít jako rozcestník. Cesta vede k původnímu zdroji a z něj pak k dalšímu zdroji, dokud je potřeba dohledávat a ověřovat informace.
—
Problematika chatbotů je, a ještě i bude velmi komplikovaná. Předně se jedná (z mého pohledu) o učící se algoritmus, který už dnes dokáže plnit nejrůznější testy (medicína a práva) a být při tom inovativní. Nejsem odborník na IT, nedovoluji si zpochybňovat Váš popis jeho funkčnosti. Asi jsem nezvolil nejvhodnější popis a měl bych odstranit slovo „vlastní“ u generování závěrů.
—
Jsem však přesvědčen, že je správné citovat interní komunikaci s chatbotem. Zatím sice není tak úplně jednoduché odhalit generovaný text, časem se ale nějaká technologie určitě objeví a zkontrolovat půjdou i práce obhájené v minulosti. Nejen proto by měl každý autor ve svém vlastním zájmu uvést zdroj, z kterého čerpal. Souhlasím, že bude forma velmi důležitá. Vy jste zmínil přesné znění dotazu a odpovědi, já bych volil snímek konverzace a jeho umístění do příloh. V obou případech je možné poskytnout čtenáři všechny podklady. Je to v podstatě podobné tomu, jak to funguje u rozhovorů s lidmi v rámci výzkumu.
PS