robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей
Source: Habr ·
Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил : файл решает только, может ли краулер (робот, который обходит сайт) скачать страницу, а что потом делают с контентом, он не решает. Значит, robots.txt для нейросетей работает как просьба к конкретному роботу, а не как запрет на обучение. Строка про GPTBot не убирает сайт из ответов ChatGPT и ничего не говорит о страницах, которые уже скачаны. Поэтому сначала стоит решить, от чего закрываться, от обучения ИИ-моделей или от появления в их ответах, и закрыв
Frequently Asked Questions
What is robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей?
robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей is a article discovery curated from Habr. Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил : файл решает только, может ли краулер
How can I access or experience this?
You can experience this content directly on its original host (Habr) by clicking the "Open Original" button.
Where does this content come from?
Curated from Habr by the OnSuggest team to surface the most interesting and serendipitous content on the web.
More like this
All Technology discoveries →Илон Маск заявил, что Tesla вернёт депозиты покупателям, которые не успеют получить Cybertruck до остановки производства
Возврат депозитов за Cybertruck, прекращение производства, Илон Маск о заказах, Tesla увеличивает выпуск Cybercab, проблемы с производственными мощностями.
Хостинг-провайдер Beget назвал приостановку аккредитации по доменам .ru, .su и .рф «технической мерой»
Компания уже согласовала план возобновления аккредитации.
Meta* расширила ИИ-проверку возраста в Instagram* на пользователей по всему миру — аккаунты детей младше 13 лет будут удалять
ИИ-проверка возраста в Instagram, удаление аккаунтов детей младше 13 лет, строгие настройки для подростковых аккаунтов
Российский бренд Votour объявил о начале продаж первой модели — кроссовера V5, который собирают на бывшем заводе Hyundai под Санкт-Петербургом
Кроссовер Votour V5, старт продаж, модель от бренда Votour, сборка на заводе АГР, комплектации Комфорт и Престиж, цена от 2,65 млн рублей
Средневековая медицина привела к массовому заражению европейцев паразитическими червями
Власти хотели сделать город чище, но добились обратного: почти все жители средневекового Тронхейма заразились паразитами. Попытки навести порядок в средневековых городах порой приводили к неожиданным и весьма неприятным последствиям. В норвежском Тронхейме власти организовали вывоз нечистот за пределы городской черты, чтобы избавиться от неприятных запахов и улучшить санитарные условия. Однако в итоге эта система только помогла распространиться круглым червям среди населения. К таким выводам пришли исследователи Норвежского университета науки и технологий (NTNU). Результаты работы опубликованы
Как восстановить историю браузера: 8 способов для Windows и macOS
Восстановить удаленную историю браузера на ПК можно несколькими способами. Делимся инструкциями для Windows и macOS. Восстановить очищенную историю браузера можно, если ее копия сохранилась на компьютере, другом устройстве или в резервном архиве. Если удаление затронуло все копии, вернуть полный журнал обычно нельзя. Однако отдельные посещенные страницы иногда удается найти другими способами. Чтобы полностью восстановить историю, проверьте резервные копии Windows или macOS. Если браузер синхронизировал историю, проверьте другое устройство, которое еще не получило сведения об удалении. Чтобы на