Google открыла код парсера robots.txt: как заполучить коды
Google всегда стремится к улучшению интернет стандартов. Поэтому компания открыла исходный код своего парсера файлов robots.txt по лицензии Apache 2.0. Файл robots.txt — это текстовый файл, который обычно находится в корневом каталоге сайта (адрес вида www.example.com/robots.txt). Вообще, он указывает поисковым роботам, какие файлы и страницы можно сканировать, а какие — нет. Соответственно, все, что разрешено сканировать, появится в поисковой выдаче. Об этом сообщает Информатор Tech со ссылкой на Google. «Мы открываем библиотеку C++ , которую наши системы используют для парсинга и проверки правил в файлах robots.txt. Этой библиотеке — уже 20 лет, в ней содержатся куски кода, написанные еще в 90-х», - сообщили в компании. Вместе с библиотекой вебмастерам также предложили код утилиты для проверки правильности правил в robots.txt. Код библиотеки и сопутствующих инструментов можно посмотреть на GitHub. Напомним, что Google тестирует новую функцию для панели инструментов Chrome. Пока это доступно только для браузера Canary. Также Google Photos в скором времени получит множество новых функций. Узнать еще больше актуальных новостей из мира технологий и игр можно в нашем Telegram-канале и на Facebook.
Мы используем файлы cookie, чтобы обеспечить должную работу сайта, а контент и реклама отвечали Вашим интересам.