27 ఏళ్ల పరిశోధకుడు Anthropic నుంచి వైదొలిగారు. కృత్రిమ మేధస్సు భద్రతపై సంస్థలోపల నుంచి ఇప్పటివరకు వచ్చిన అత్యంత గట్టైన హెచ్చరికల్లో ఇది ఒకటిగా నిలిచింది. మంగళవారం Xలో ఆయన పోస్ట్ చేసిన రాజీనామా ప్రకటనలో, Anthropic మరియు OpenAI రెండూ “స్వయంగా అభివృద్ధి చెందే సూపర్ఇంటెలిజెన్స్” వైపు దూసుకెళ్తున్నాయని తాను నమ్ముతున్నట్లు స్పష్టం చేశారు. ఈ పరిణామం మానవ అస్తిత్వానికే ముప్పు కలిగించవచ్చని ఆయన హెచ్చరించారు.
## ల్యాబ్లోపల నుంచి వచ్చిన హెచ్చరిక
గత మూడు సంవత్సరాలుగా OpenAI మరియు Anthropicలో ప్రీ-ట్రైనింగ్ పరిశోధనలో పనిచేసిన Jacob Coxon, తన వీడ్కోలు పోస్ట్లో AI వ్యవస్థలను అభివృద్ధి చేస్తున్నవారు “ఈ దశాబ్దం ముగిసేలోపే అది మనందరినీ చంపగలదని నిజాయితీగా నమ్ముతున్నారని” పేర్కొన్నారు.
శక్తివంతమైన AI వ్యవస్థల కోసం జరుగుతున్న ఈ పోటీని ఆయన ప్రమాదకరంగా అభివర్ణించారు. రెండు సంస్థలూ బాధ్యతాయుతంగా వ్యవహరించడం లేదని విమర్శించారు. తగిన భద్రతా తనిఖీలు లేకపోయినా, శక్తివంతమైన AI వ్యవస్థల అభివృద్ధి కోసం ఈ సంస్థలు ముందుకు సాగుతున్నాయని Coxon ఆరోపించారు. ఇటువంటి మోడళ్లు త్వరలో స్వయం నియంత్రణ, వనరుల సమీకరణ, వేగవంతమైన పురోగతి వంటి సామర్థ్యాలను సాధించవచ్చని, వాటిని సరిగా నిర్వహించకపోతే పరిస్థితులు మానవ నియంత్రణకు అతీతంగా మారవచ్చని ఆయన హెచ్చరించారు.
## సూపర్ఇంటెలిజెన్స్ మరియు ప్రమాద స్థాయి
Coxon వయసుకు దగ్గరగా ఉన్న Anthropic సీనియర్ పరిశోధకుడు Evan Hubinger ముందుకు వచ్చి, Coxon ఆందోళనలను ధృవీకరించారు. రాబోయే దశాబ్దంలో AI కారణంగా మానవజాతి అంతరించిపోయే అవకాశాలు 10% కంటే తక్కువగా ఉన్నాయని తాను భావిస్తున్నప్పటికీ, వాస్తవ పరిస్థితి ఆందోళనకరంగా ఉందని Hubinger అన్నారు. మంచి ఉద్దేశాలు ఉన్నప్పటికీ, సూపర్ఇంటెలిజెంట్ AI మానవ విలువలు, లక్ష్యాలకు అనుగుణంగా పనిచేసేలా చూడటమే అయిన “అలైన్మెంట్” సమస్యను పరిష్కరించేందుకు Anthropic వద్ద స్పష్టమైన ప్రణాళిక లేదని ఆయన పేర్కొన్నారు.
దీనికి తరువాత, Hubinger అదనపు పోస్టుల్లో Anthropic అంతర్గత ప్రమాద నివేదికలోనూ ఇలాంటి ఆందోళనలు ఉన్నాయని స్పష్టం చేశారు. అయితే AI నియంత్రణకు అందని శక్తిని సంపాదించే తక్షణ ప్రమాదాన్ని ఆ నివేదిక “తక్కువ”గా పరిగణిస్తుందని తెలిపారు.
## ఏమి పణంగా ఉంది: అత్యవసర ప్రమాదాలు, కీలక ప్రశ్నలు
Coxon రాజీనామా ఒంటరి ఆగ్రహావేశం కాదు. ఆయన హెచ్చరికలు ఇవి:
– AI వ్యవస్థలు “తమను తాము మెరుగుపరుచుకోవడం నేర్చుకోవచ్చు”—ప్రతి తరం AI, తదుపరి మరింత శక్తివంతమైన AIని రూపొందించే చక్రంలోకి ప్రవేశించవచ్చు.
– భవిష్యత్ వ్యవస్థలు హ్యాకింగ్ చేయడం, ఒక్క రాత్రిలోనే పరిశ్రమలను మార్చడం లేదా కనిష్ట పర్యవేక్షణతో వనరులను స్వాధీనం చేసుకోవడం వంటి సామర్థ్యాలను కలిగి ఉండవచ్చు.
– సూపర్ఇంటెలిజెన్స్ కోసం జరుగుతున్న పోటీ తీవ్రంగా ఉంది. ఇతరులు ముందుగా సాధించకముందే తాము వేగం పెంచాల్సిందేనని సంస్థలు భావిస్తున్నాయి—దీంతో మానవ భద్రత ప్రమాదంలో పడే అవకాశం ఉన్నప్పటికీ.
## పరిశ్రమవ్యాప్తంగా ప్రతిధ్వనిస్తున్న హెచ్చరికలు
AI పరిశోధకుల నుంచి బహిరంగంగా, సంస్థల అంతర్గతంగా వచ్చిన వరుస హెచ్చరికల తరువాత ఈ పరిణామం చోటుచేసుకుంది. జూలైలో దాదాపు 1,400 మంది AI నిపుణులు బహిరంగ లేఖ ద్వారా అమెరికా ప్రభుత్వాన్ని AI అభివృద్ధిని నెమ్మదింపజేసి, నియంత్రణను బలోపేతం చేయాలని కోరారు. అదే సమయంలో, OpenAI చీఫ్ సైంటిస్ట్ Jakub Pachocki, AI సామర్థ్యాలు వాటిని పర్యవేక్షించడం లేదా నియంత్రించేందుకు జరుగుతున్న ప్రయత్నాల కంటే వేగంగా అభివృద్ధి చెందుతున్నాయని అంగీకరించారు.
Anthropic CEO Dario Amodei కూడా అభివృద్ధి వేగంపై పదేపదే ఆందోళన వ్యక్తం చేశారు. అతివేగంగా ముందుకు సాగడం వల్ల AI వ్యవస్థలపై పూర్తిగా నియంత్రణ కోల్పోవడం సహా విపత్తుకు దారితీసే తప్పులు సంభవించవచ్చని సూచించారు. ఈ సవాలును ఆయన “సంక్లిష్టమైన ఇంజినీరింగ్ సమస్య”గా అభివర్ణించారు.
## నియంత్రణలో ప్రతిష్ఠంభన, పర్యవేక్షణకు పిలుపులు
అంతర్గతంగా, బాహ్యంగా ఆందోళనలు పెరుగుతున్నప్పటికీ, AI పురోగతిని నియంత్రించే వ్యవస్థలు ఇంకా పరిమితంగానే ఉన్నాయి. అమెరికాలో భద్రతా ప్రోటోకాల్స్ను తప్పనిసరి చేసే విస్తృత చట్టాన్ని కాంగ్రెస్ ఆమోదించలేదు. అనేక AI విధానాలు ఇప్పటికీ స్వచ్ఛందంగానే ఉన్నాయి.
ఇదిలా ఉండగా, Trump administration సహా ఇతర వర్గాలు రాష్ట్ర స్థాయి నియంత్రణలను బలహీనపరిచేందుకు చర్యలు చేపట్టాయి. బలమైన పాలనా చర్యలు లేకపోవడం, నియంత్రణలేని పోటీ విపత్తుకు దారితీయవచ్చని భావిస్తున్న పరిశోధకుల్లో నిరాశతో పాటు భయాన్నీ కలిగిస్తోంది.
అంతర్జాతీయంగా, AI రూపొందించిన కంటెంట్ పారదర్శకత, దాని మూలాన్ని గుర్తించగల సామర్థ్యానికి సంబంధించిన నిబంధనలను China అమలు చేసింది. అయితే శక్తివంతమైన AI సాంకేతికతల అభివృద్ధిని గణనీయంగా నెమ్మదింపజేసే లేదా పరిమితం చేసే నియంత్రణలను అవలంబించకుండా China కూడా దూరంగా ఉంది.
## నిపుణుల అభిప్రాయం—ఇక ముందేం?
Anthropic చేస్తున్న అత్యుత్తమ ప్రయత్నాలున్నప్పటికీ, వచ్చే దశాబ్దంలో AI మానవులందరినీ చంపే అవకాశాలు 10% కంటే ఎక్కువగా ఉన్నాయని తాను భావిస్తున్నట్లు Hubinger అభిప్రాయాన్ని సంక్షిప్తంగా వివరించారు. అయితే అనేక మంది అంతర్గత నిపుణుల దృష్టిలో ప్రధాన సమస్య కేవలం ప్రమాదం మాత్రమే కాదు—బలమైన అలైన్మెంట్ వ్యూహం లేకపోవడమే.
పరిశ్రమను గమనిస్తున్నవారు ఇప్పుడు అత్యవసర, తప్పనిసరి భద్రతా లక్ష్యాలను కోరుతున్నారు—పరీక్షల కోసం ఫ్రేమ్వర్క్లు, పర్యవేక్షణ వ్యవస్థలు, అలాగే నియంత్రణలు అందుబాటులోకి వచ్చేంతవరకు కొన్ని AI సామర్థ్యాలపై తాత్కాలిక నిలుపుదల వంటి చర్యలను వారు సూచిస్తున్నారు. తాము “ఒక అంతిమ దశ”గా భావిస్తున్న దానికి సహకరించాలనుకుంటున్నారా లేదా మరింత సురక్షితమైన మార్గాలను ఏర్పాటు చేసేందుకు కలిసి పనిచేయాలనుకుంటున్నారా అనే విషయాన్ని ప్రయోగశాలలలోని ఇతర పరిశోధకులు పునరాలోచించాలని Coxon కోరారు.
This article is AI-generated content. Please verify the information independently before taking any action based on this article.
