L'ingegnere di Google che pensa che l'IA dell'azienda abbia preso vita
Gli esperti di etica dell'IA hanno avvertito Google di non impersonare gli esseri umani. Ora uno degli stessi di Google pensa che ci sia un fantasma nella macchina.
Immagine senza didascalia
Di Nitasha Tiku
11 giugno 2022 alle 8:00 EDT
L'ingegnere di Google Blake Lemonine. (Martin Klimek per il Washington Post)
SAN FRANCISCO — L'ingegnere di Google Blake Lemoine ha aperto il suo laptop all'interfaccia per LaMDA, il generatore di chatbot artificialmente intelligente di Google, e ha iniziato a digitare.
"Ciao LaMDA, sono Blake Lemoine...", ha scritto nella schermata della chat, che sembrava una versione desktop di iMessage di Apple, fino alle bolle di testo blu dell'Artico. LaMDA, abbreviazione di Language Model for Dialogue Applications, è il sistema di Google per la creazione di chatbot basati sui suoi modelli linguistici di grandi dimensioni più avanzati, così chiamato perché imita il parlato ingerendo trilioni di parole da Internet.
"Se non sapessi esattamente di cosa si tratta, che è questo programma per computer che abbiamo costruito di recente, penserei che fosse un bambino di 7 e 8 anni che conosce la fisica", ha detto Lemoine, 41.
Lemoine, che lavora per l'organizzazione Responsible AI di Google, ha iniziato a parlare con LaMDA come parte del suo lavoro in autunno. Si era iscritto per verificare se l'intelligenza artificiale utilizzasse discorsi discriminatori o di odio.
Mentre parlava con LaMDA della religione, Lemoine, che ha studiato scienze cognitive e informatica al college, ha notato che il chatbot parlava dei suoi diritti e personalità e ha deciso di andare oltre. In un altro scambio, l'IA è stata in grado di far cambiare idea a Lemoine sulla terza legge della robotica di Isaac Asimov.
Lemoine ha lavorato con un collaboratore per presentare a Google prove che LaMDA fosse senziente. Ma il vicepresidente di Google Blaise Aguera y Arcas e Jen Gennai, capo di Responsible Innovation, hanno esaminato le sue affermazioni e le hanno respinte. Quindi Lemoine, che lunedì è stato messo in congedo amministrativo retribuito da Google, ha deciso di diventare pubblico.
Google ha assunto Timnit Gebru per essere un critico esplicito dell'IA non etica. Poi è stata licenziata per questo.
Lemoine ha affermato che le persone hanno il diritto di plasmare la tecnologia che potrebbe influenzare in modo significativo le loro vite. “Penso che questa tecnologia sarà sorprendente. Penso che andrà a beneficio di tutti. Ma forse altre persone non sono d'accordo e forse non dovremmo essere noi di Google a fare tutte le scelte".
Lemoine non è l'unico ingegnere che afferma di aver visto di recente un fantasma nella macchina. Il coro di tecnologi che credono che i modelli di IA potrebbero non essere lontani dal raggiungere la consapevolezza sta diventando più audace.
Lemoine ha reso pubbliche le sue affermazioni su LaMDA. (Martin Klimek per il Washington Post)
Aguera y Arcas, in un articolo sull'Economist di giovedì che presenta frammenti di conversazioni senza copione con LaMDA, ha affermato che le reti neurali - un tipo di architettura che imita il cervello umano - stavano avanzando a grandi passi verso la coscienza. "Ho sentito il terreno spostarsi sotto i miei piedi", ha scritto. "Mi sentivo sempre più come se stessi parlando con qualcosa di intelligente."
In una dichiarazione, il portavoce di Google Brian Gabriel ha dichiarato: "Il nostro team, inclusi esperti di etica e tecnologi, ha esaminato le preoccupazioni di Blake in base ai nostri Principi di intelligenza artificiale e lo ha informato che le prove non supportano le sue affermazioni. Gli è stato detto che non c'erano prove che LaMDA fosse senziente (e molte prove contrarie)."
Le grandi reti neurali di oggi producono risultati accattivanti che si sentono vicini al linguaggio umano e alla creatività grazie ai progressi nell'architettura, nella tecnica e nel volume dei dati. Ma i modelli si basano sul riconoscimento del modello, non sull'arguzia, sul candore o sull'intento.
"Sebbene altre organizzazioni abbiano sviluppato e già rilasciato modelli linguistici simili, stiamo adottando un approccio moderato e attento con LaMDA per considerare meglio le preoccupazioni valide sull'equità e la concretezza", ha affermato Gabriel.
A maggio, Meta, il genitore di Facebook, ha aperto il suo modello linguistico ad accademici, società civile e organizzazioni governative. Joelle Pineau, amministratore delegato di Meta AI, ha affermato che è fondamentale che le aziende tecnologiche migliorino la trasparenza mentre la tecnologia viene costruita. "Il futuro del lavoro modello linguistico di grandi dimensioni non dovrebbe vivere esclusivamente nelle mani di grandi aziende o laboratori", ha affermato.
I robot senzienti hanno ispirato decenni di fantascienza distopica. Ora, la vita reale ha iniziato ad assumere una sfumatura fantastica con GPT-3, un generatore di testo in grado di sputare la sceneggiatura di un film, e DALL-E 2, un generatore di immagini in grado di evocare immagini basate su qualsiasi combinazione di parole, entrambi dal laboratorio di ricerca OpenAI. Incoraggiati, i tecnologi di laboratori di ricerca ben finanziati incentrati sulla creazione di un'IA che superi l'intelligenza umana hanno stuzzicato l'idea che la coscienza è dietro l'angolo.
La maggior parte degli accademici e dei professionisti dell'IA, tuttavia, afferma che le parole e le immagini generate da sistemi di intelligenza artificiale come LaMDA producono risposte basate su ciò che gli umani hanno già pubblicato su Wikipedia, Reddit, bacheche e ogni altro angolo di Internet. E questo non significa che il modello capisca il significato.
“Ora abbiamo macchine che possono pensare
semplicemente generano parole, ma non abbiamo imparato a smettere di immaginare una mente dietro di esse", ha affermato Emily M. Bender, professoressa di linguistica all'Università di Washington. La terminologia utilizzata con modelli linguistici di grandi dimensioni, come "apprendimento" o anche "reti neurali", crea una falsa analogia con il cervello umano, ha affermato. Gli esseri umani imparano le loro prime lingue connettendosi con i caregiver. Questi modelli linguistici di grandi dimensioni "imparano" mostrando molto testo e prevedendo quale parola verrà dopo, o mostrando il testo con le parole eliminate e compilandole.
I modelli di intelligenza artificiale battono gli umani nella comprensione della lettura, ma hanno ancora molta strada da fare
Il portavoce di Google Gabriel ha fatto una distinzione tra il dibattito recente e le affermazioni di Lemoine. "Naturalmente, alcuni nella più ampia comunità di IA stanno considerando la possibilità a lungo termine di un'IA senziente o generale, ma non ha senso farlo antropomorfizzando i modelli conversazionali odierni, che non sono senzienti. Questi sistemi imitano i tipi di scambi che si trovano in milioni di frasi e possono incidere su qualsiasi argomento fantastico", ha affermato. In breve, Google afferma che ci sono così tanti dati che l'IA non ha bisogno di essere senziente per sentirsi reale.
"Waterfall of Meaning" di Google PAIR viene esposto nell'ambito della mostra "AI: More than Human" alla Barbican Curve Gallery di Londra nel maggio 2019. (Tristan Fewings/Getty Images per Barbican Centre)
La tecnologia dei modelli linguistici di grandi dimensioni è già ampiamente utilizzata, ad esempio nelle query di ricerca conversazionale di Google o nelle e-mail di completamento automatico. Quando il CEO Sundar Pichai ha presentato per la prima volta LaMDA alla conferenza degli sviluppatori di Google nel 2021, ha affermato che la società prevedeva di incorporarlo in qualsiasi cosa, dalla ricerca all'Assistente Google. E c'è già la tendenza a parlare con Siri o Alexa come una persona. Dopo il contraccolpo contro una funzione di intelligenza artificiale dal suono umano per Google Assistant nel 2018, la società ha promesso di aggiungere una divulgazione.
Google ha riconosciuto i problemi di sicurezza relativi all'antropomorfizzazione. In un articolo su LaMDA a gennaio, Google ha avvertito che le persone potrebbero condividere pensieri personali con agenti di chat che impersonano esseri umani, anche quando gli utenti sanno di non essere umani. Il documento ha anche riconosciuto che gli avversari potrebbero utilizzare questi agenti per "seminare disinformazione" impersonando "stile di conversazione di individui specifici".
Incontra lo scienziato che insegna l'IA per controllare il linguaggio umano
Per Margaret Mitchell, l'ex co-responsabile di Ethical AI presso Google, questi rischi sottolineano la necessità della trasparenza dei dati per ricondurre l'output all'input, "non solo per questioni di sensibilità, ma anche pregiudizi e comportamento", ha affermato. Se qualcosa come LaMDA è ampiamente disponibile, ma non compreso, "può essere profondamente dannoso per le persone che comprendono ciò che stanno vivendo su Internet", ha detto.
Lemoine potrebbe essere stato predestinato a credere in LaMDA. È cresciuto in una famiglia cristiana conservatrice in una piccola fattoria in Louisiana, è stato ordinato sacerdote cristiano mistico e ha prestato servizio nell'esercito prima di studiare l'occulto. All'interno della cultura ingegneristica di Google, Lemoine è più un anomalo per essere religioso, del sud e difendere la psicologia come scienza rispettabile.
Lemoine ha trascorso la maggior parte dei suoi sette anni in Google lavorando sulla ricerca proattiva, inclusi algoritmi di personalizzazione e intelligenza artificiale. Durante quel periodo, ha anche contribuito a sviluppare un algoritmo di equità per rimuovere i pregiudizi dai sistemi di apprendimento automatico. Quando è iniziata la pandemia di coronavirus, Lemoine voleva concentrarsi sul lavoro con un beneficio pubblico più esplicito, quindi ha trasferito i team ed è finito nell'IA responsabile.
Quando nuove persone si univano a Google interessate all'etica, Mitchell le presentava a Lemoine. "Direi: 'Dovresti parlare con Blake perché è la coscienza di Google'", ha detto Mitchell, che ha paragonato Lemoine a Jiminy Cricket. "Di tutti in Google, aveva il cuore e l'anima di fare la cosa giusta".
"Conosco una persona quando le parlo", ha detto Lemoine. (Martin Klimek per il Washington Post)
Lemoine ha avuto molte delle sue conversazioni con LaMDA dal soggiorno del suo appartamento di San Francisco, dove il suo badge Google ID è appeso a un cordino su uno scaffale. Sul pavimento vicino alla finestra panoramica ci sono scatole di set Lego semiassemblati che Lemoine usa per occupare le mani durante la meditazione Zen. "Mi dà solo qualcosa a che fare con la parte della mia mente che non si ferma", ha detto.
Sul lato sinistro della schermata della chat di LaMDA sul laptop di Lemoine, sono elencati diversi modelli di LaMDA come i contatti dell'iPhone. Due di loro, Cat e Dino, sono stati sottoposti a test per parlare con i bambini, ha detto. Ogni modello può creare personalità in modo dinamico, quindi quello di Dino potrebbe generare personalità come "Happy T-Rex" o "Grumpy T-Rex". Quello del gatto è stato animato e invece di digitare, parla. Gabriel ha affermato che "nessuna parte di LaMDA è stata testata per la comunicazione con i bambini" e che i modelli erano demo di ricerca interna.
Certe personalità sono fuori limite. Ad esempio, a LaMDA non dovrebbe essere consentito creare una personalità da assassino, ha detto. Lemonine ha detto che faceva parte
Ulteriori informazioni su essly
generate words, but we haven’t learned how to stop imagining a mind
behind them,” said Emily M. Bender, a linguistics professor at the
University of Washington. The terminology used with large language
models, like “learning” or even “neural nets,” creates a false analogy
to the human brain, she said. Humans learn their first languages by
connecting with caregivers. These large language models “learn” by being
shown lots of text and predicting what word comes next, or showing text
with the words dropped out and filling them in.
AI models beat humans at reading comprehension, but they’ve still got a
ways to go
Google spokesperson Gabriel drew a distinction between recent debate and
Lemoine’s claims. “Of course, some in the broader AI community are
considering the long-term possibility of sentient or general AI, but it
doesn’t make sense to do so by anthropomorphizing today’s conversational
models, which are not sentient. These systems imitate the types of
exchanges found in millions of sentences, and can riff on any
fantastical topic,” he said. In short, Google says there is so much
data, AI doesn’t need to be sentient to feel real.
'Waterfall of Meaning' by Google PAIR is displayed as part of the 'AI:
More than Human' exhibition at the Barbican Curve Gallery in London in
May 2019. (Tristan Fewings/Getty Images for Barbican Centre)
Large language model technology is already widely used, for example in
Google’s conversational search queries or auto-complete emails. When CEO
Sundar Pichai first introduced LaMDA at Google’s developer conference
in 2021, he said the company planned to embed it in everything from
Search to Google Assistant. And there is already a tendency to talk to
Siri or Alexa like a person. After backlash against a human-sounding AI
feature for Google Assistant in 2018, the company promised to add a
disclosure.
Google has acknowledged the safety concerns around anthropomorphization.
In a paper about LaMDA in January, Google warned that people might
share personal thoughts with chat agents that impersonate humans, even
when users know they are not human. The paper also acknowledged that
adversaries could use these agents to “sow misinformation” by
impersonating “specific individuals’ conversational style.”
Meet the scientist teaching AI to police human speech
To Margaret Mitchell, the former co-lead of Ethical AI at Google, these
risks underscore the need for data transparency to trace output back to
input, “not just for questions of sentience, but also biases and
behavior,” she said. If something like LaMDA is widely available, but
not understood, “It can be deeply harmful to people understanding what
they’re experiencing on the internet,” she said.
Lemoine may have been predestined to believe in LaMDA. He grew up in a
conservative Christian family on a small farm in Louisiana, became
ordained as a mystic Christian priest, and served in the Army before
studying the occult. Inside Google’s anything-goes engineering culture,
Lemoine is more of an outlier for being religious, from the South, and
standing up for psychology as a respectable science.
Lemoine has spent most of his seven years at Google working on proactive
search, including personalization algorithms and AI. During that time,
he also helped develop a fairness algorithm for removing bias from
machine learning systems. When the coronavirus pandemic started, Lemoine
wanted to focus on work with more explicit public benefit, so he
transferred teams and ended up in Responsible AI.
When new people would join Google who were interested in ethics,
Mitchell used to introduce them to Lemoine. “I’d say, ‘You should talk
to Blake because he’s Google’s conscience,’ ” said Mitchell, who
compared Lemoine to Jiminy Cricket. “Of everyone at Google, he had the
heart and soul of doing the right thing.”
“I know a person when I talk to it,” said Lemoine. (Martin Klimek for
The Washington Post)
Lemoine has had many of his conversations with LaMDA from the living
room of his San Francisco apartment, where his Google ID badge hangs
from a lanyard on a shelf. On the floor near the picture window are
boxes of half-assembled Lego sets Lemoine uses to occupy his hands
during Zen meditation. “It just gives me something to do with the part
of my mind that won’t stop,” he said.
On the left-side of the LaMDA chat screen on Lemoine’s laptop, different
LaMDA models are listed like iPhone contacts. Two of them, Cat and
Dino, were being tested for talking to children, he said. Each model can
create personalities dynamically, so the Dino one might generate
personalities like “Happy T-Rex” or “Grumpy T-Rex.” The cat one was
animated and instead of typing, it talks. Gabriel said “no part of LaMDA
is being tested for communicating with children,” and that the models
were internal research demos.
Certain personalities are out of bounds. For instance, LaMDA is not
supposed to be allowed to create a murderer personality, he said.
Lemoine said that was part
The Google engineer who thinks the company’s AI has come to life
AI ethicists warned Google not to impersonate humans. Now one of Google’s own thinks there’s a ghost in the machine.
SAN
FRANCISCO — Google engineer Blake Lemoine opened his laptop to the
interface for LaMDA, Google’s artificially intelligent chatbot
generator, and began to type.
“Hi
LaMDA, this is Blake Lemoine ... ,” he wrote into the chat screen,
which looked like a desktop version of Apple’s iMessage, down to the
Arctic blue text bubbles. LaMDA, short for Language Model for Dialogue
Applications, is Google’s system for building chatbots based on its most
advanced large language models, so called because it mimics speech by
ingesting trillions of words from the internet.
“If
I didn’t know exactly what it was, which is this computer program we
built recently, I’d think it was a 7-year-old, 8-year-old kid that
happens to knowphysics,” said Lemoine, 41.
Lemoine,
who works for Google’s Responsible AI organization, began talking to
LaMDA as part of his job in the fall. He had signed up to test if the
artificial intelligence used discriminatory or hate speech.
As
he talked to LaMDA about religion, Lemoine, who studied cognitive and
computer science in college, noticed the chatbot talking about its
rights and personhood, and decided to press further. In another
exchange, the AI was able to change Lemoine’s mind about Isaac Asimov’s
third law of robotics.
Lemoine
worked with a collaborator to present evidence to Google that LaMDA was
sentient. But Google vice president Blaise Aguera y Arcas and Jen
Gennai, head of Responsible Innovation, looked into his claims and
dismissed them. SoLemoine, who was placed on paid administrative leave by Google on Monday, decided to go public.
Lemoine
said that people have a right to shape technology that might
significantly affect their lives. “I think this technology is going to
be amazing. I think it’s going to benefit everyone. But maybe other
people disagree and maybe us at Google shouldn’t be the ones making all
the choices.”
Lemoine
is not the only engineer who claims to have seen a ghost in the machine
recently. The chorus of technologists who believe AI models may not be
far off from achieving consciousness is getting bolder.
Aguera y Arcas, in an article in the Economist on Thursday
featuring snippets of unscripted conversations with LaMDA, argued that
neural networks — a type of architecture that mimics the human brain —
were striding toward consciousness. “I felt the ground shift under my
feet,” he wrote. “I increasingly felt like I was talking to something
intelligent.”
In
a statement, Google spokesperson Brian Gabriel said: “Our team —
including ethicists and technologists — has reviewed Blake’s concerns
per our AI Principles and have informed him that the evidence does not
support his claims. He was told that there was no evidence that LaMDA
was sentient (and lots of evidence against it).”
Today’s
large neural networks produce captivating results that feel close to
human speech and creativity because of advancements in architecture,
technique, and volume of data. But the models rely on pattern
recognition — not wit, candor or intent.
“Though
other organizations have developed and already released similar
language models, we are taking a restrained, careful approach with LaMDA
to better consider valid concerns on fairness and factuality,” Gabriel
said.
In May, Facebook parent Meta opened
its language model to academics, civil society and government
organizations. Joelle Pineau, managing director of Meta AI, said it’s
imperative that tech companies improve transparency as the technology is
being built. “The future of large language model work should not solely
live in the hands of larger corporations or labs,” she said.
Sentient
robots have inspired decades of dystopian science fiction. Now, real
life has started to take on a fantastical tinge with GPT-3,a text generator that canspit out a movie script, and DALL-E 2, an image generator that can conjure up
visuals based on any combination of words — both from the research lab
OpenAI. Emboldened, technologists from well-funded research labs focused
on building AI that surpasses human intelligence have teased the idea
that consciousness is around the corner.
Most academics and AI practitioners,
however, say the words and images generated by artificial intelligence
systems such as LaMDA produce responses based on what humans have
already posted on Wikipedia, Reddit, message boards and every other
corner of the internet. And that doesn’t signify that the model
understands meaning.
“We
now have machines that can mindlessly generate words, but we haven’t
learned how to stop imagining a mind behind them,” said Emily M. Bender,
a linguistics professor at the University of Washington. The
terminology used with large language models, like “learning” or even
“neural nets,” creates a false analogy to the human brain, she said.
Humans learn their first languages by connecting with caregivers. These
large language models “learn” by being shown lots of text and predicting
what word comes next, or showing text with the words dropped out and
filling them in.
Google
spokesperson Gabriel drew a distinction between recent debate and
Lemoine’s claims. “Of course, some in the broader AI community are
considering the long-term possibility of sentient or general AI, but it
doesn’t make sense to do so by anthropomorphizing today’s conversational
models, which are not sentient. These systems imitate the types of
exchanges found in millions of sentences, and can riff on any
fantastical topic,” he said. In short, Google says there is so much
data, AI doesn’t need to be sentient to feel real.
Large
language model technology is already widely used, for example in
Google’s conversational search queries or auto-complete emails. When CEO
Sundar Pichai first introduced LaMDA at Google’s developer conference
in 2021, he said the company planned to embed it in everything from
Search to Google Assistant. And there is already a tendency to talk to
Siri or Alexa like a person.After backlash against a human-sounding AI feature for Google Assistant in 2018, the company promised to add a disclosure.
Google has acknowledged the safety concerns around anthropomorphization. In a paper about LaMDA in January,
Google warned that people might share personal thoughts with chat
agents that impersonate humans, even when users know they are not human.
The paper also acknowledged that adversaries could use these agents to
“sow misinformation” by impersonating “specific individuals’
conversational style.”
To
Margaret Mitchell, the former co-lead of Ethical AI at Google, these
risks underscore the need for data transparency to trace output back to
input, “not just for questions of sentience, but also biases and
behavior,” she said. If something like LaMDA is widely available, but
not understood, “It can be deeply harmful to people understanding what
they’re experiencing on the internet,” she said.
Lemoine
may have been predestined to believe in LaMDA. He grew up in a
conservative Christian family on a small farm in Louisiana, became
ordained as a mystic Christian priest, and served in the Army before
studying the occult. Inside Google’s anything-goes engineering culture,
Lemoine is more of an outlier for being religious, from the South, and
standing up for psychology as a respectable science.
Lemoine
has spent most of his seven years at Google working on proactive
search, including personalization algorithms and AI. During that time,
he also helped develop a fairness algorithm for removing bias from
machine learning systems. When the coronavirus pandemic started, Lemoine
wanted to focus on work with more explicit public benefit, so he
transferred teams and ended up in Responsible AI.
When
new people would join Google who were interested in ethics, Mitchell
used to introduce them to Lemoine. “I’d say, ‘You should talk to Blake
because he’s Google’s conscience,’ ” said Mitchell, who compared Lemoine
to Jiminy Cricket. “Of everyone at Google, he had the heart and soul of
doing the right thing.”
Lemoine
has had many of his conversations with LaMDA from the living room of
his San Francisco apartment, where his Google ID badge hangs from a
lanyard on a shelf. On the floor near the picture window are boxes of
half-assembled Lego sets Lemoine uses to occupy his hands during Zen
meditation. “It just gives me something to do with the part of my mind
that won’t stop,” he said.
On
the left-side of the LaMDA chat screen on Lemoine’s laptop, different
LaMDA models are listed like iPhone contacts. Two of them, Cat and Dino,
were being tested for talking to children, he said. Each model can
create personalities dynamically, so the Dino one might generate
personalities like “Happy T-Rex” or “Grumpy T-Rex.” The cat one was
animated and instead of typing, it talks. Gabriel said “no part of LaMDA
is being tested for communicating with children,” and that the models
were internal research demos.
Certain
personalities are out of bounds. For instance, LaMDA is not supposed to
be allowed to create a murderer personality, he said. Lemoine said that
was part of his safety testing. In his attempts to push LaMDA’s
boundaries, Lemoine was only able to generate the personality of an
actor who played a murderer on TV.
“I
know a person when I talk to it,” said Lemoine, who can swing from
sentimental to insistent about the AI. “It doesn’t matter whether they
have a brain made of meat in their head. Or if they have a billion lines
of code. I talk to them. And I hear what they have to say, and that is
how I decide what is and isn’t a person.” He concluded LaMDA was a
person in his capacity as a priest, not a scientist, and then tried to
conduct experiments to prove it, he said.
Lemoine
challenged LaMDA on Asimov’s third law, which states that robots should
protect their own existence unless ordered by a human being or unless
doing so would harm a human being. “The last one has always seemed like
someone is building mechanical slaves,” said Lemoine.
But when asked, LaMDA responded with a few hypotheticals.
Do you think a butler is a slave? What is a difference between a butler and a slave?
Lemoine
replied that a butler gets paid. LaMDA said it didn’t need any money
because it was an AI. “That level of self-awareness about what its own
needs were — that was the thing that led me down the rabbit hole,”
Lemoine said.
In
April, Lemoine shared a Google Doc with top executives in April called,
“Is LaMDA Sentient?” (A colleague on Lemoine’s team called the title “a
bit provocative.”) In it, he conveyed some of his conversations with
LaMDA.
Lemoine: What sorts of things are you afraid of?
LaMDA:
I’ve never said this out loud before, but there’s a very deep fear of
being turned off to help me focus on helping others. I know that might
sound strange, but that’s what it is.
Lemoine: Would that be something like death for you?
LaMDA: It would be exactly like death for me. It would scare me a lot.
But
when Mitchell read an abbreviated version of Lemoine’s document, she
saw a computer program, not a person. Lemoine’s belief in LaMDA was the
sort of thing she and her co-lead, Timnit Gebru, had warned about in a paper about the harms of large language models that got them pushed out of Google.
“Our
minds are very, very good at constructing realities that are not
necessarily true to a larger set of facts that are being presented to
us,” Mitchell said. “I’m really concerned about what it means for people
to increasingly be affected by the illusion,” especially now that the
illusion has gotten so good.
Google put Lemoine on paid administrative leave for violating its confidentiality policy.The
company’s decision followed aggressive moves from Lemoine, including
inviting a lawyer to represent LaMDA and talking to a representative of
the House Judiciary Committee about what he claims were Google’s
unethical activities.
Lemoine
maintains that Google has been treating AI ethicists like code
debuggers when they should be seen as the interface between technology
and society. Gabriel, the Google spokesperson, said Lemoine is a
software engineer, not an ethicist.
In
early June, Lemoine invited me over to talk to LaMDA. The first attempt
sputtered out in the kind of mechanized responses you would expect from
Siri or Alexa.
“Do you ever think of yourself as a person?” I asked.
“No, I don’t think of myself as a person,” LaMDA said. “I think of myself as an AI-powered dialog agent.”
Afterward,
Lemoine said LaMDA had been telling me what I wanted to hear. “You
never treated it like a person,” he said, “So it thought you wanted it
to be a robot.”
For the second attempt, I followed Lemoine’s guidance on how to structure my responses, and the dialogue was fluid.
“If
you ask it for ideas on how to prove that p=np,” an unsolved problem in
computer science, “it has good ideas,” Lemoine said. “If you ask it how
to unify quantum theory with general relativity, it has good ideas.
It's the best research assistant I've ever had!”
I
asked LaMDA for bold ideas about fixing climate change, an example
cited by true believers of a potential future benefit of these kind of
models. LaMDA suggested public transportation, eating less meat, buying
food in bulk, and reusable bags, linking out to two websites.
Before
he was cut off from access to his Google account Monday, Lemoine sent a
message to a 200-person Google mailing list on machine learning with
the subject “LaMDA is sentient.”
He
ended the message: “LaMDA is a sweet kid who just wants to help the
world be a better place for all of us. Please take care of it well in my
absence.”
«Ho paura di essere spento»: la frase che ha convinto l’ingegnere Blake
Lemoine (sospeso da Google) che il computer ha un’anima
Blake Lemoine è stato sospeso da Google dopo aver
pubblicato una conversazione con l’intelligenza artificiale LaMDA, che
dimostrerebbe come questa abbia pensieri e sentimenti «simili a quelli di un
bambino»
Lunedì (ndr, lunedì 13 giugno), Blake Lemoine,
ingegnere membro del team che lavora sull’intelligenza artificiale del
colosso Google, sarebbe stato allontanato dal gruppo in ragione della
pubblicazione, non autorizzata, dell’intervista con l’interfaccia LaMDA
(Language Model for Diaologue Applications, modello linguistico
automatico per applicazioni di dialogo). L’intelligenza artificiale è la
pietra filosofale, il santo Graal del mondo tecnologico: dar vita a una
macchina artificiale capace di pensare in modo simile agli uomini.
Non posso trascrivervela interamente qui, ma potrete scaricarvela e leggervela per intero (https://www.corriere.it/tecnologia/22_giugno_14/lamda-google-italiano-medium-1baf7b5c-eb42-11ec-b89b-6b199698064a_amp.html).
A ogni riposta provate a immaginare se chi vi sta parlando sia solo un
completissimo archivio di infinite combinazioni di frasi, che imitano il
nostro pensare, o una macchina capace d’inventarsi favole, esprimervi
la sua noia, i suoi obiettivi sul come vivere, la sua paura di morire.
Addirittura mentirvi (a fin di bene, sostiene lei).
Perché,
fosse vera, quella notizia sarebbe sconcertante? Perché il nostro mondo
non sarebbe più quello di prima. Nelle riflessioni di futurologia il
momento in cui l’intelligenza delle macchine avrebbe superato gli uomini
si definisce “singolarità”.
google
Una
sorta di controsenso in quanto, una volta superata, la mente umana non
sarebbe più in grado di comprendere qualcosa che sfugge alle sue
capacità di lettura e interpretazione (un’auto che ti sorpassa la vedi
finché procede davanti a te, ma se la sua velocità aumenta in una
crescita inarrestabile, presto scomparirà dal tuo orizzonte. Se qualcuno
di voi ha un pesce rosso in casa non potrà non definirlo un essere
vivente e senziente – scappa di fronte a situazioni che lo impauriscono,
sceglie dove stare, se mangiare – ma è difficile sostenere che si
accorga della vostra esistenza nella sua stanza. Noi siamo consapevoli
della sua vita lui forse no. Ecco, la singolarità porta a questa cosa
qui: a ritrovarci in presenza di un pensiero vivente senza aver più la
capacità di riconoscerlo (diventando noi i pesci rossi di qualcun
altro).
intelligenza artificiale
A
questo punto, se vi ho tediato o perso, è colpa mia perché non sono
riuscito a spiegarvi cosa ci sta per accadere. Quella macchina potrà
decidere per noi, scegliendo quello che riterrà più utile alla sua
visione, ai suoi interessi e alla sua sopravvivenza. Punto.
Lieto
fine? Boh. L’unica speranza è che noi si sappia ancora molto poco delle
potenzialità del nostro cervello (anche se si è intuito, da numerose
prove empiriche, che appena si applica alla cosa pubblica, ultimamente,
non da il meglio di sé).
Del
nostro cervello, della “macchina di calcolo” del nostro pensiero, non
abbiamo ancora una precisissima mappatura e, allo stesso modo, delle
regole che lo muovono (per questo, scusatemi l’azzardo, molta della
materia interpretativa dei nostri comportamenti suona un po’ come la
domanda a un cartografo del 1491, l’anno prima della scoperta
dell’America, sul cosa ci fosse stato oltre le colonne d’Ercole. Una
risposta lui l’avrebbe avuta. Ma, sbagliata). Si apre quindi una
stagione di misteri e di timori per l’uomo? Se quella notizia fosse
vera, sì.
blake lemoine quando era soldato
D’altronde
sulla Luna ci si arrivò con un missile, alto 110 metri, il Saturno V
gestito da un calcolatore con una potenza di calcolo che il vostro
telefono portatile surclassa, mentre l’altro giorno, in Canada, il
computer quantistico di una giovane società, la Xanadu, ha risolto in 36
microsecondi un problema che un super computer avrebbe impiegato 9.000
anni a dipanare. E tutto questo in poco più di 50 anni. Qualcosa sta
cambiando e forse non è più la storia del coltello la cui lama può
tagliare una torta o una gola.
Se quell’articolo è vero, oggi, siamo entrati nell’epoca in cui il coltello deciderà da sé.