Ako ste ikad zaplovili u freelance vodama, pogotovo na engleskom govornom području, nakon pojave ChatGPT-a pojavile su se dvije struje. Prevladava želja naručitelja sadržaja da se u kreiranju isporučenog sadržaja ne koriste generativni modeli umjetne inteligencije. Pozadina toga nije u kvaliteti teksta, već u bojazni da svemogući Google ne diskriminira AI sadržaj. Sam Google navodno ne kažnjava članke u kojima je korišten ChatGPT. Te navode pokušao je proučiti Semrush, alat koji je široko korišten za SEO svrhe i u svom blogu nije našao dokaze da su članci generirani AI-jem lošije rangirani.
Istovremeno, na raznim forumima i u zajednici prevladava stav da Google slabije rangira ili ne prikazuje sadržaje u kojima se koristi AI za kreaciju. Druga struja na platformama za slobodne pisce dopušta korištenje ChatGPT-a, ali uz kasniju normalizaciju i dodavanje ljudskog elementa, što ide u prilog Semrush istraživanju.
Nedavno je novi potres pogodio scenu AI generativnih modela pojavom kineskog AI alata koji ima sličnu funkcionalnost kao ChatGPT. Pomutnju je napravio jer je potpuno besplatan za korištenje, a navodno je u njegovom treniranju korištena zamjetno manja količina hardvera, pa je svojom pojavom i strelovitim uspjehom na AppStoreu u SAD-u srušio u jednom danu dionice Nvidie koja isporučuje GPU-ove koji se koriste za izradu generativnih modela AI-a.
No, kako se uopće može provjeriti koristi li se u pisanju ChatGPT ili neki drugi srodni alat? Kada govorimo o engleskom jeziku, postoji velik broj alata koji se može koristiti za tu detekciju. Nas je pak zanimalo što se događa s hrvatskim jezikom? Mogu li botovi upravljati cijelim web stranicama, imaju li šanse profesori u školama i na fakultetima te jesmo li mi kao novinari uopće više potrebni?
Hrvatski jezik je izazov za alate
Postoji velik broj alata kojima se može testirati je li u izradi članaka korištena umjetna inteligencija. Naš početni odabir takvih alata uključivao je GPT Zero, zero GPT, QuillBott, Winston AI i AI detector by Grammarly. Od ovih alata, QuillBot i Winston AI odmah su naveli kako oni ne podržavaju hrvatski jezik, pa smo ih eliminirali iz priče.
U nju smo pak ubacili Originality AI kao zamjenu i formirali našu testnu skupinu.
Povod za cijeli ovaj članak bio je anegdotalan. Igrajući se s alatima za detekciju i svojim člankom, bio sam impresioniran kako je zero GPT detektirao korištenje ChatGPT-a. Originalni tekst ubačen u ChatGPT je bio promijenjen, ali su se načelno koristile iste riječi i fraze. U tom slučaju radilo se o članku na engleskom jeziku.
Ovog puta odlučili smo s vrlo zahtjevnim zadatkom opteretiti našu testnu skupinu alata za detekciju AI-ja. Pred noge alata bacili smo Uvodnik časopisa Vidi koji je autorski tekst i tijek misli bez pokupljenih poveznica s različitih blogova. U startu se radi o članku koji je teže replicirati ChatGPT-u, pa će i alatima za detekciju biti izazovno odraditi posao.
Testiranje
Originalni uvodnik
GPTZero
grammarly
Točni rezultati: Svi alati osim Originality.ai-ja procijenili su da se radi o originalnom sadržaju
Originality.ai
ZEROGPT
1/3 uvodnika izmijenjena
GPTZero
grammarly
Guske u magli: U ovom slučaju samo je GPT Zero detektirao prisutnost AI-ja, mada je i on pogriješio u omjerima. Za ostale alate uvodnik djelomično izmijenjen ChatGPT-jem ostao je ljudski original
Originality.ai
ZEROGPT
2/3 uvodnika izmijenjene
GPTZero
grammarly
Isti scenarij: ponovio se i u uvodniku kojeg je 2/3 izmijenio ChatGPT. Ponovno je jedini alat koji ga je detektirao ostao GPT Zero, dok su ostali čvrsto ustvrdili da se radi o uratku s 0 % upletanja
Originality.ai
ZEROGPT
Cijeli uvodnik izmijenjen
GPTZero
grammarly
Razočaranje: U ovom slučaju jedino je GPT Zero detektirao AI prisutnost, no i ovaj alat dodijelio je samo 10 % AI-ju. Očito je hrvatski jezik uz suptilnu prirodu izmjene postojećeg teksta prevelika prepreka za ove alate
Originality.ai
ZEROGPT
Izmišljeni uvodnik
GPTZero
grammarly
Ima nade: Kada smo ChatGPT-u dali da sam iz nule izmisli cijeli uvodnik, njegovu briljantnu izvedbu detektirala su tri alata, dok je Grammarly detektor podbacio kao i u svim ostalim zadacima
Originality.ai
ZEROGPT
Uvodnik preveden na engleski
GPTZero
grammarly
Miješana salata: Da provjerimo hoće li biti bolji rezultati s engleskim jezikom, preveli smo uvodnik i tu su svi alati primijetili da se radi o ljudski pisanom tekstu
Originality.ai
ZEROGPT
Izmijenjeni uvodnik na engleskom
GPTZero
grammarly
Možda nije jezik izazov: GPT Zero i Originality.ai detektirali su promjene u originalu koje je napravio ChatGPT, dok su zeroGPT i Grammarly ponovno podbacili
Originality.ai
ZEROGPT
Postoji način za detekciju AI sadržaja, no nije savršen i bitka između sve boljih modela te alata za njihovu detekciju se nastavlja
Metodologija testiranja
Za početak smo alatima ponudili originalni članak kakav je izašao u časopisu. Potom smo trećinu članka zamijenili tekstom kojeg je nanovo generirao ChatGPT. Prompt je bio: preformuliraj i malo izmijeni tekst. Nakon toga smo isti princip primijenili na dvije trećine članka, da bismo u konačnici izmijenili cijeli uvodnik, ali kao bazu za promjenu ChatGPT je koristio originalne riječi iz uvodnika. Krajnji test uključivao je potpuno novi uvodnik za koji smo koristili prompt: Molim izmisli uvodnik od 700 riječi za IT časopis Vidi u kojemu spomeni Intelove procesore i probleme s voltažom, Google probleme s AI rezultatima i spomeni Vidi Awards.
Korišteni alati za detekciju
AI detector by Grammarly je besplatan alat razvijen od strane jednog od vodećih alata za provjeru pravopisa i gramatike engleskog jezika. Općenito je Grammarly doista odličan kao pomoć u pisanju i provjeri kvalitete jezika uz mnoštvo opcija za ton, redoslijed riječi u rečenici, specifičnosti pojedinog izgovora engleskog jezika i slično.
Iako ćemo o rezultatima nešto kasnije, možemo spoilati i reći kako se u ovom testu nije iskazao. Moguće da je problem u hrvatskom jeziku, ili jednostavno još nije na razini nekih konkurenata. Grammarly je aplikacija koja ima svoju premium varijantu, no ona ne donosi naprednije mogućnosti detekcije AI teksta, već je više usmjerena na primarnu namjenu ovog alata.
GPT Zero je jedan od najpopularnijih i najspominjanijih alata za detekciju AI generiranog sadržaja. U svojoj besplatnoj varijanti dopušta provjeru do 5.000 znakova zalijepljenog ili uploadanog teksta te skeniranje za AI i to detekciju ChatGPT-a, Claudea i mješavinu ljudskog i AI teksta. U premium varijanti moguće je napredno skeniranje, detekcija tipičnog AI vokabulara i provjera plagijata. Aplikacija nudi velik broj integracija koje uključuju Google Classroom i Google Docs. Pretplate se kreću od 8,33 dolara za 150.000 riječi mjesečno do 24,99 dolara za koje se nudi pola milijuna riječi.
Zero GPT ima slično ime, a radi se o alatu koji također ima besplatnu i plaćenu inačicu. U besplatnoj, koja je bila povod anegdoti za ovaj članak, dopušta se provjera do 15.000 znakova u jednom upitu, dok ćete u plaćenoj verziji dobiti mogućnost provjere do 125.000 znakova. Sučelje web aplikacije izgleda kao stranica zasuta spamom jer ima dosta oglasa, pri čemu se nije pazilo na izgled. Plaćene varijante kreću od Pro razine i cijene 7,99 dolara, preko Plus varijante koja košta 14,99, do Max pretplate za koju ćete morati izdvojiti 18,99 dolara. Najveća razlika je u količini provjere koja se dopušta odjednom. U plaćenim varijantama možete dodati batch datoteke, generirati PDF izvještaje i imati povijest pretraga.
Originality.ai je alat koji nudi niz funkcionalnosti. Provjera AI-ja omogućuje besplatnu provjeru do 750 riječi, a plaćena otvara opcije predaje duljih tekstova, API integracija, podrške, bržih skenova i točnijih modela. Aplikacija omogućuje provjeru plagijata, koliko je tekst čitak i gramatika. Originality nudi model Pay as you go koji za 30 dolara daje 3.000 kredita za iskoristiti. Pro varijanta košta 12,95 dolara mjesečno i nudi 2.000 kredita mjesečno pri čemu je jedan kredit jednak 100 riječi. Enterprise pretplata košta 136,58 dolara i namijenjena je agencijama i izdavačkim kućama.
Kako je prošlo testiranje?
Prva runda prošla je odlično. Gotovo svi alati prepoznali su da se radi o tekstu u kojemu nije korišten ChatGPT. Jedina iznimka bila je aplikacija Originality AI koja je detektirala da je Uvodnik 77% najvjerojatnije originalan.
U drugom koraku Uvodnik smo promijenili na način da je prvu trećinu izmijenio ChatGPT. Na tom koraku pala su tri od četiri testirana alata. Grammarly, zero GPT i Originality nisu detektirali AI izmjene, dok je GPT Zero primijetio 6% AI sadržaja što nije savršen rezultat, jer su promjene bile oko 30%, ali je ipak uočio da nije sve napisano bez AI-ja.
Sličnu situaciju imali smo u sljedećem koraku u kojemu smo uvodnik promijenili za dvije trećine, gdje je ChatGPT izmijenio originalni sadržaj. Grammarly, Zero GPT i Originality nisu prepoznali promjene, dok je GPT Zero detektirao da se radi o 43% AI sadržaju uz 2% miješanog te 55% ljudski napisanog.
Na koncu smo dali ChatGPT-u da izmijeni cijeli uvodnik i ponovno poslali alatima za detekciju da provjere ima li u tekstu utjecaja AI-ja. U ovom koraku ostali smo najviše razočarani, zato što su i Grammarly i zero GPT i Originality propustili vidjeti utjecaj AI generativnog modela na tekst. U ovom koraku je posrnuo i GPT Zero koji je spustio postotak AI teksta s 43% na samo 10%, ali smo mu ipak dali plus za ovaj korak.
Dio razloga za ove slabe rezultate dolazi iz činjenice da je Uvodnik pisan na hrvatskom jeziku za koji ovi alati imaju manje sposobnosti. Dio razloga je u tipu članka koji ima snažnu originalnu notu bez pretjeranih podudarnosti sa člancima prisutnim na webu i u slučaju kada ChatGPT preformulira te originalne rečenice, one i dalje donose prizvuk originalnosti.
Zadnji korak bio je korištenje potpuno izmišljenog teksta koji nema veze s originalnim Uvodnikom. Grammarly je i tu podbacio, što je po nama dokaz da jednostavno ne funkcionira na hrvatskom jeziku. Ostali alati detektirali su u većem ili manjem postotku da se radi o AI generiranom tekstu.
Kako bismo provjerili radi li se o problemu s hrvatskim jezikom, Uvodnik smo preveli na engleski jezik i odradili testnu rundu u kojoj smo uz pomoć ChatGPT-a promijenili uvodnu trećinu. Grammarly nije uspio niti tu detektirati umjetnu inteligenciju i zapravo je ispao potpuno nepouzdan u okvirima naše metodologije. GPT Zero ponovno je najbolje odradio svoj posao i zapravo je prošao kroz sve izazove s pozitivnom ocjenom. Iznenadio nas je zero GPT koji nije uspio detektirati promjene koje je na engleskom uvodniku napravio ChatGPT, dok je nešto bolje prošao Originality.ai.
U konačnoj ocjeni možemo preporučiti GTP Zero kao najpouzdaniji od testiranih alata. Isto tako, Uvodnik Vidija je specifičan sadržaj koji i promijenjen može zavarati alate jer se radi o autorskom djelu bez elemenata blogova ili sadržaja koji se često mogu naći na webovima, odakle svoje pipke vuče generativni model poput ChatGPT-a.
Na kraju, možemo reći da postoji način za detekciju AI sadržaja, no nije savršen i bitka između sve boljih modela i alata za njihovu detekciju se nastavlja, a oni koji se boje varanja s ChatGPT-om uvijek mogu tražiti sadržaje koje generativni modeli ne mogu replicirati poput istraživanja, izjava, kolumni i drugih originalnih sadržaja.
DeepSeek test
Istu metodologiju testiranja napravili smo koristeći DeepSeek kao pomoć u pretvaranju uvodnika u nešto drugo. Za razliku od detekcije ChatGPT-a, naša testna skupina alata za pronalazak AI sadržaja nije bila toliko uspješna. Pogotovo se to odnosi na GPT Zero koji je bio prilično učinkovit u promjenama koje je na uvodnik ubacio ChatGPT. U slučaju DeepSeeka, pokazao se potpuno neučinkovit i jedino je detektirao kada smo ubacili cijeli uvodnik generiran od strane DeepSeeka. S druge strane, puno se bolje snašao Originality.ai koji je primijetio potpuno promijenjen uvodnik i uvodnik samostalno napisan od strane AI alata.
GPT Zero: bio je najbolji u borbi protiv ChatGPT-a, ali se nije dobro snašao kod sadržaja koji je DeepSeek izmijenio
Originality.ai: pokazao se kao vrlo dobro rješenje u detekciji sadržaja napisanog pomoću DeepSeeka i malo popravio dojam nakon testa s ChatGPT sadržajem
