Kako prepoznati AI generirani tekst

Kako prepoznati AI generirani tekst

Hrvatski nije dovojno podržan u anti-GPT alatima

ChatGPT predvodnik je revolucije generativnih AI rješenja. Privatnim i poslovnim korisnicima nudi napredne mogućnosti sinteze teksta sa često upitnom faktografijom. Može li se učinkovito prepoznati AI generirani tekst uz pomoć dostupnih alata?


Ako ste ikad zaplovili u freelance vodama, pogotovo na engleskom govornom području, nakon pojave ChatGPT-a pojavile su se dvije struje. Prevladava želja naručitelja sadržaja da se u kreiranju isporučenog sadržaja ne koriste generativni modeli umjetne inteligencije. Pozadina toga nije u kvaliteti teksta, već u bojazni da svemogući Google ne diskriminira AI sadržaj. Sam Google navodno ne kažnjava članke u kojima je korišten ChatGPT. Te navode pokušao je proučiti Semrush, alat koji je široko korišten za SEO svrhe i u svom blogu nije našao dokaze da su članci generirani AI-jem lošije rangirani.

Istovremeno, na raznim forumima i u zajednici prevladava stav da Google slabije rangira ili ne prikazuje sadržaje u kojima se koristi AI za kreaciju. Druga struja na platformama za slobodne pisce dopušta korištenje ChatGPT-a, ali uz kasniju normalizaciju i dodavanje ljudskog elementa, što ide u prilog Semrush istraživanju.

Nedavno je novi potres pogodio scenu AI generativnih modela pojavom kineskog AI alata koji ima sličnu funkcionalnost kao ChatGPT. Pomutnju je napravio jer je potpuno besplatan za korištenje, a navodno je u njegovom treniranju korištena zamjetno manja količina hardvera, pa je svojom pojavom i strelovitim uspjehom na AppStoreu u SAD-u srušio u jednom danu dionice Nvidie koja isporučuje GPU-ove koji se koriste za izradu generativnih modela AI-a.

No, kako se uopće može provjeriti koristi li se u pisanju ChatGPT ili neki drugi srodni alat? Kada govorimo o engleskom jeziku, postoji velik broj alata koji se može koristiti za tu detekciju. Nas je pak zanimalo što se događa s hrvatskim jezikom? Mogu li botovi upravljati cijelim web stranicama, imaju li šanse profesori u školama i na fakultetima te jesmo li mi kao novinari uopće više potrebni?

Hrvatski jezik je izazov za alate

Postoji velik broj alata kojima se može testirati je li u izradi članaka korištena umjetna inteligencija. Naš početni odabir takvih alata uključivao je GPT Zero, zero GPT, QuillBott, Winston AI i AI detector by Grammarly. Od ovih alata, QuillBot i Winston AI odmah su naveli kako oni ne podržavaju hrvatski jezik, pa smo ih eliminirali iz priče.

U nju smo pak ubacili Originality AI kao zamjenu i formirali našu testnu skupinu.

Povod za cijeli ovaj članak bio je anegdotalan. Igrajući se s alatima za detekciju i svojim člankom, bio sam impresioniran kako je zero GPT detektirao korištenje ChatGPT-a. Originalni tekst ubačen u ChatGPT je bio promijenjen, ali su se načelno koristile iste riječi i fraze. U tom slučaju radilo se o članku na engleskom jeziku.

Ovog puta odlučili smo s vrlo zahtjevnim zadatkom opteretiti našu testnu skupinu alata za detekciju AI-ja. Pred noge alata bacili smo Uvodnik časopisa Vidi koji je autorski tekst i tijek misli bez pokupljenih poveznica s različitih blogova. U startu se radi o članku koji je teže replicirati ChatGPT-u, pa će i alatima za detekciju biti izazovno odraditi posao.

Testiranje

Originalni uvodnik

GPTZero 

 

GPT-Zero--provjera-uvodnika-original.jpg

 

grammarly

 

Grammarly---provjera-uvodnika-original.jpg

 Točni rezultati:  Svi alati osim Originality.ai-ja procijenili su da se radi o originalnom sadržaju

 

Originality.ai

 

Originality-AI-provjera-uvodnika-original.jpg

 

ZEROGPT

 

zero-GPT-provjera-uvodnika-original.jpg

 

1/3 uvodnika izmijenjena

GPTZero

 

GPT-Zero--provjera-uvodnika-trećina-promijenjena.jpg

 

grammarly

 

Grammarly---provjera-uvodnika-trećina-izmjenjena.jpg

 Guske u magli:  U ovom slučaju samo je GPT Zero detektirao prisutnost AI-ja, mada je i on pogriješio u omjerima. Za ostale alate uvodnik djelomično izmijenjen ChatGPT-jem ostao je ljudski original

 

Originality.ai

 

Originality-AI-provjera-uvodnika-trećina-izmijenjena.jpg

 

ZEROGPT

 

zero-GPT-provjera-uvodnika-trećina-promijenjena.jpg

 

2/3 uvodnika izmijenjene

GPTZero

 

GPT-Zero--provjera-uvodnika-dvije-trećine-promijenjene.jpg

 

grammarly

 

Grammarly---provjera-uvodnika-dvije-trećine-izmjenjene.jpg

 Isti scenarij:  ponovio se i u uvodniku kojeg je 2/3 izmijenio ChatGPT. Ponovno je jedini alat koji ga je detektirao ostao GPT Zero, dok su ostali čvrsto ustvrdili da se radi o uratku s 0 % upletanja

 

Originality.ai

 

Originality-AI-provjera-uvodnika-dvije-trećine-izmijenjene.jpg

 

ZEROGPT

 

zero-GPT-provjera-uvodnika-dvije-trećine-promijenjene.jpg

 

Cijeli uvodnik izmijenjen

GPTZero

 

GPT-Zero--provjera-uvodnika-potpuno-izmijenjen.jpg

 

grammarly

 

Grammarly---provjera-uvodnika-potpuno-izmijenjen.jpg

 Razočaranje:  U ovom slučaju jedino je GPT Zero detektirao AI prisutnost, no i ovaj alat dodijelio je samo 10 % AI-ju. Očito je hrvatski jezik uz suptilnu prirodu izmjene postojećeg teksta prevelika prepreka za ove alate

 

Originality.ai

 

Originality-AI-provjera-uvodnika-potpuno-izmjenjen.jpg

 

ZEROGPT

 

zero-GPT-provjera-uvodnika-potpuno-izmijenjen.jpg

 

Izmišljeni uvodnik

 

GPTZero

 

GPT-Zero--provjera-Chat-GPT-uvodnika.jpg

 

grammarly

 

Grammarly---provjera-ChatGPT-generiranog-uvodnika.jpg

Ima nade:  Kada smo ChatGPT-u dali da sam iz nule izmisli cijeli uvodnik, njegovu briljantnu izvedbu detektirala su tri alata, dok je Grammarly detektor podbacio kao i u svim ostalim zadacima

Originality.ai

 

Originality-AI-provjera-Chat-GPT-uvodnika.jpg

 

ZEROGPT

 

zero-GPT-provjera-Chat-GPT-uvodnika.jpg

 

Uvodnik preveden na engleski

GPTZero

 

GTP-zero---eng-uvodnik.jpg

 

grammarly

 

Grammarly-uvodnik-eng.jpg

Miješana salata:  Da provjerimo hoće li biti bolji rezultati s engleskim jezikom, preveli smo uvodnik i tu su svi alati primijetili da se radi o ljudski pisanom tekstu

 

Originality.ai

 

Originality_-_eng_uvodnik.jpg

 

ZEROGPT

 

zero_GPT_-_eng_uvodnik.jpg

 

Izmijenjeni uvodnik na engleskom

GPTZero

 

GTP-zero---eng-uvodnik-trećina.jpg

 

grammarly

 

Grammarly-uvodnik-eng-trećina.jpg

Možda nije jezik izazov:  GPT Zero i Originality.ai detektirali su promjene u originalu koje je napravio ChatGPT, dok su zeroGPT i Grammarly ponovno podbacili

 

Originality.ai

 

Originality---eng-uvodnik-trećina.jpg

 

ZEROGPT

 

zero-GPT---eng-uvodnik-trećina.jpg

 

Postoji način za detekciju AI sadržaja, no nije savršen i bitka između sve boljih modela te alata za njihovu detekciju se nastavlja

 

Metodologija testiranja

Za početak smo alatima ponudili originalni članak kakav je izašao u časopisu. Potom smo trećinu članka zamijenili tekstom kojeg je nanovo generirao ChatGPT. Prompt je bio: preformuliraj i malo izmijeni tekst. Nakon toga smo isti princip primijenili na dvije trećine članka, da bismo u konačnici izmijenili cijeli uvodnik, ali kao bazu za promjenu ChatGPT je koristio originalne riječi iz uvodnika. Krajnji test uključivao je potpuno novi uvodnik za koji smo koristili prompt: Molim izmisli uvodnik od 700 riječi za IT časopis Vidi u kojemu spomeni Intelove procesore i probleme s voltažom, Google probleme s AI rezultatima i spomeni Vidi Awards.

Korišteni alati za detekciju

AI detector by Grammarly je besplatan alat razvijen od strane jednog od vodećih alata za provjeru pravopisa i gramatike engleskog jezika. Općenito je Grammarly doista odličan kao pomoć u pisanju i provjeri kvalitete jezika uz mnoštvo opcija za ton, redoslijed riječi u rečenici, specifičnosti pojedinog izgovora engleskog jezika i slično.

Iako ćemo o rezultatima nešto kasnije, možemo spoilati i reći kako se u ovom testu nije iskazao. Moguće da je problem u hrvatskom jeziku, ili jednostavno još nije na razini nekih konkurenata. Grammarly je aplikacija koja ima svoju premium varijantu, no ona ne donosi naprednije mogućnosti detekcije AI teksta, već je više usmjerena na primarnu namjenu ovog alata.

GPT Zero je jedan od najpopularnijih i najspominjanijih alata za detekciju AI generiranog sadržaja. U svojoj besplatnoj varijanti dopušta provjeru do 5.000 znakova zalijepljenog ili uploadanog teksta te skeniranje za AI i to detekciju ChatGPT-a, Claudea i mješavinu ljudskog i AI teksta. U premium varijanti moguće je napredno skeniranje, detekcija tipičnog AI vokabulara i provjera plagijata. Aplikacija nudi velik broj integracija koje uključuju Google Classroom i Google Docs. Pretplate se kreću od 8,33 dolara za 150.000 riječi mjesečno do 24,99 dolara za koje se nudi pola milijuna riječi.

Zero GPT ima slično ime, a radi se o alatu koji također ima besplatnu i plaćenu inačicu. U besplatnoj, koja je bila povod anegdoti za ovaj članak, dopušta se provjera do 15.000 znakova u jednom upitu, dok ćete u plaćenoj verziji dobiti mogućnost provjere do 125.000 znakova. Sučelje web aplikacije izgleda kao stranica zasuta spamom jer ima dosta oglasa, pri čemu se nije pazilo na izgled. Plaćene varijante kreću od Pro razine i cijene 7,99 dolara, preko Plus varijante koja košta 14,99, do Max pretplate za koju ćete morati izdvojiti 18,99 dolara. Najveća razlika je u količini provjere koja se dopušta odjednom. U plaćenim varijantama možete dodati batch datoteke, generirati PDF izvještaje i imati povijest pretraga.

Originality.ai je alat koji nudi niz funkcionalnosti. Provjera AI-ja omogućuje besplatnu provjeru do 750 riječi, a plaćena otvara opcije predaje duljih tekstova, API integracija, podrške, bržih skenova i točnijih modela. Aplikacija omogućuje provjeru plagijata, koliko je tekst čitak i gramatika. Originality nudi model Pay as you go koji za 30 dolara daje 3.000 kredita za iskoristiti. Pro varijanta košta 12,95 dolara mjesečno i nudi 2.000 kredita mjesečno pri čemu je jedan kredit jednak 100 riječi. Enterprise pretplata košta 136,58 dolara i namijenjena je agencijama i izdavačkim kućama.

Kako je prošlo testiranje?

Prva runda prošla je odlično. Gotovo svi alati prepoznali su da se radi o tekstu u kojemu nije korišten ChatGPT. Jedina iznimka bila je aplikacija Originality AI koja je detektirala da je Uvodnik 77% najvjerojatnije originalan.

U drugom koraku Uvodnik smo promijenili na način da je prvu trećinu izmijenio ChatGPT. Na tom koraku pala su tri od četiri testirana alata. Grammarly, zero GPT i Originality nisu detektirali AI izmjene, dok je GPT Zero primijetio 6% AI sadržaja što nije savršen rezultat, jer su promjene bile oko 30%, ali je ipak uočio da nije sve napisano bez AI-ja.

Sličnu situaciju imali smo u sljedećem koraku u kojemu smo uvodnik promijenili za dvije trećine, gdje je ChatGPT izmijenio originalni sadržaj. Grammarly, Zero GPT i Originality nisu prepoznali promjene, dok je GPT Zero detektirao da se radi o 43% AI sadržaju uz 2% miješanog te 55% ljudski napisanog.

Na koncu smo dali ChatGPT-u da izmijeni cijeli uvodnik i ponovno poslali alatima za detekciju da provjere ima li u tekstu utjecaja AI-ja. U ovom koraku ostali smo najviše razočarani, zato što su i Grammarly i zero GPT i Originality propustili vidjeti utjecaj AI generativnog modela na tekst. U ovom koraku je posrnuo i GPT Zero koji je spustio postotak AI teksta s 43% na samo 10%, ali smo mu ipak dali plus za ovaj korak.

Dio razloga za ove slabe rezultate dolazi iz činjenice da je Uvodnik pisan na hrvatskom jeziku za koji ovi alati imaju manje sposobnosti. Dio razloga je u tipu članka koji ima snažnu originalnu notu bez pretjeranih podudarnosti sa člancima prisutnim na webu i u slučaju kada ChatGPT preformulira te originalne rečenice, one i dalje donose prizvuk originalnosti.

 

tablica-testiranja1.jpg

 

Zadnji korak bio je korištenje potpuno izmišljenog teksta koji nema veze s originalnim Uvodnikom. Grammarly je i tu podbacio, što je po nama dokaz da jednostavno ne funkcionira na hrvatskom jeziku. Ostali alati detektirali su u većem ili manjem postotku da se radi o AI generiranom tekstu.

Kako bismo provjerili radi li se o problemu s hrvatskim jezikom, Uvodnik smo preveli na engleski jezik i odradili testnu rundu u kojoj smo uz pomoć ChatGPT-a promijenili uvodnu trećinu. Grammarly nije uspio niti tu detektirati umjetnu inteligenciju i zapravo je ispao potpuno nepouzdan u okvirima naše metodologije. GPT Zero ponovno je najbolje odradio svoj posao i zapravo je prošao kroz sve izazove s pozitivnom ocjenom. Iznenadio nas je zero GPT koji nije uspio detektirati promjene koje je na engleskom uvodniku napravio ChatGPT, dok je nešto bolje prošao Originality.ai.

U konačnoj ocjeni možemo preporučiti GTP Zero kao najpouzdaniji od testiranih alata. Isto tako, Uvodnik Vidija je specifičan sadržaj koji i promijenjen može zavarati alate jer se radi o autorskom djelu bez elemenata blogova ili sadržaja koji se često mogu naći na webovima, odakle svoje pipke vuče generativni model poput ChatGPT-a.

Na kraju, možemo reći da postoji način za detekciju AI sadržaja, no nije savršen i bitka između sve boljih modela i alata za njihovu detekciju se nastavlja, a oni koji se boje varanja s ChatGPT-om uvijek mogu tražiti sadržaje koje generativni modeli ne mogu replicirati poput istraživanja, izjava, kolumni i drugih originalnih sadržaja.

DeepSeek test

Istu metodologiju testiranja napravili smo koristeći DeepSeek kao pomoć u pretvaranju uvodnika u nešto drugo. Za razliku od detekcije ChatGPT-a, naša testna skupina alata za pronalazak AI sadržaja nije bila toliko uspješna. Pogotovo se to odnosi na GPT Zero koji je bio prilično učinkovit u promjenama koje je na uvodnik ubacio ChatGPT. U slučaju DeepSeeka, pokazao se potpuno neučinkovit i jedino je detektirao kada smo ubacili cijeli uvodnik generiran od strane DeepSeeka. S druge strane, puno se bolje snašao Originality.ai koji je primijetio potpuno promijenjen uvodnik i uvodnik samostalno napisan od strane AI alata.

 

 Deepseek--cijeli-GPT-zero.jpg

GPT Zero: bio je najbolji u borbi protiv ChatGPT-a, ali se nije dobro snašao kod sadržaja koji je DeepSeek izmijenio

 

Deepseek--cijeli-originality-ai.jpg

Originality.ai: pokazao se kao vrlo dobro rješenje u detekciji sadržaja napisanog pomoću DeepSeeka i malo popravio dojam nakon testa s ChatGPT sadržajem

 

tablica-deepseak.jpg

 

Vezani sadržaj:

  • Fortect

    Ušminkan i moćan

    Čistač optimiziran za nove operativne sustave.

  • Grafičke kartice za 2025. godinu - tech pregled

    AI za novo grafičko ubrzanje

    Ovu 2025. godinu mogli bismo prozvati godinom novih grafičkih kartica. Donosimo detaljan pregled svih novih grafičkih procesora, kartica i pripadajućih tehnologija koje su predstavili ili najavili Nvidia, Intel i AMD. Kakva je budućnost 3D grafičkog prikaza i mogu li se gameri nadati bržim karticama po povoljnijoj cijeni?

  • AMD Radeon RX 9070 XT- Ekskluzivni test

    Ekskluzivno smo testirali najnoviju AMD-ovu grafičku karticu Radeon RX 9070 XT koja se temelji na novoj naprednoj AMD-ovoj arhitekturi RDNA 4. AMD s novim karticama najavljuje 4k igranje po mainstream cijeni.  Kakve su performanse najmoćnije AMD-ove grafičke kartice nove generacije koja bi trebala biti opaka konkurencija Nvidijinim RTX 5070 Ti i RTX 5070 karticama

  • Kingston Fury Beast Black 64 GB DDR5 6.000 MHz

    Isplativi gigabajti

    Odličan omjer cijene i performansi uz kapacitet od 64 GB čine ovu Kingstonovu memoriju vrlo isplativom kupovinom, posebno ako ste vlasnik nekog od novijih AMD-ovih procesora.

  • NZXT C1200 Gold

    Velika snaga

    Kvalitetno i relativno cjenovno pristupačno napajanje velike snage koje dolazi s podrškom za ATX 3.1. S obzirom na modularan dizajn i uzornu energetsku efikasnost, predstavlja dobar izbor za najnovija računala visoke klase.

// možda će vas zanimati

Newsletter prijava


Kako izgleda naš posljednji newsletter pogledajte na ovom linku.

Copyright © by: VIDI-TO d.o.o. Sva prava pridržana.