The Risks Of Anonymity In The Age Of Generative AI

Wed, 29 Apr 2026 23:55:50 +1000

Andrew Pam <xanni [at] glasswings.com.au>

Andrew Pam
<https://www.techdirt.com/2026/04/27/the-risks-of-anonymity-in-the-age-of-generative-ai/>

"As its name suggests, generative AI is designed to generate material in
response to prompts by drawing on its probabilistic database built up through
analyzing huge quantities of training input. But it can draw on those patterns
to analyze other files, and that’s also a widely used application. Writing in
The Argument, Kelsey Piper encountered an interesting variant of that
approach:

Recently, Anthropic released a new version of Claude, Opus 4.7. I did what I
usually do when a new AI model is released by Google, OpenAI, or Anthropic
and ran a bunch of tests on it to see what it can do. One of those tests is
to paste in some text from unpublished drafts of mine and ask it to guess
the author.



From only the above text [not shown here], 125 words, Claude Opus 4.7
informed me that the likeliest author is Kelsey Piper. This is an Opus
4.7-specific power; ChatGPT guessed Yglesias, and Gemini guessed Scott
Alexander. I did not have memory enabled, nor did I have information about
me associated with my account; I did these tests in Incognito Mode.

As Piper admits:

this is far from an impossible feat of style identification — a lot of my
writing is public on the internet, and this is clearly the start of a
political column, narrowing the possible authors down dramatically.

She went on to input less obvious material. For example, an “unpublished draft
of a school progress report in a completely different register”:

“Kelsey Piper,” said Claude. (ChatGPT guessed Freddie deBoer. Gemini guessed
Duncan Sabien.)

An unpublished fantasy novel produced a similar result, although:

in that case it took more like 500 words for Claude to inform me that it’s
the work of Kelsey Piper (whereas ChatGPT flattered me by guessing that I’m
real fantasy novelist K.J. Parker).

And finally, “a college application essay I wrote 15 years ago, when my prose
style was vastly worse and frankly embarrassing to reread”:

“Kelsey Piper,” said Claude, and in this case, also ChatGPT.

Piper comments:

Right now, today’s AI tools probably can be used to deanonymize any writer
who has a large public corpus of writing under their real name and also
writes anonymously, unless they have been extremely careful, for years, to
make sure that nothing written under their secondary account has the
stylistic fingerprints of their primary one. Many academics and industry
researchers, for instance, have reported being identified from a draft or in
the middle of a chat.

And she concludes:

Whatever goods anonymity ever offered us, we will have to do without them. I
don’t want the anonymous posters to all go away and for everyone to
frantically delete all their old internet presence before it surfaces, but
more than anything, I don’t want them to be surprised."

Cheers,
       *** Xanni ***
--
mailto:xanni@xanadu.net               Andrew Pam
http://xanadu.com.au/                 Chief Scientist, Xanadu
https://glasswings.com.au/            Partner, Glass Wings
https://sericyb.com.au/               Manager, Serious Cybernetics

Comment via email

Home E-Mail Sponsors Index Search About Us