16.08.2012, 23:59 | #1 (ссылка) |
Новичок
Регистрация: 24.05.2010
Сообщений: 29
Репутация: 0
|
Поиск на сайтах. Как обойти ограничение в файле robots.txt
Открыл сайт биржи труда - kiosk.fas.ie
Перебирать все предложения дело долгое и утомительное. Требуется: - найти все страницы сайта kiosk.fas.ie, в которых присутствует словосочетание: No Experience Required или Some Experience Required То есть, найти все вакансии, которые не требуют предварительного опыта работы, либо требуют лишь некоторый опыт. Пример искомой страницы: Делал так: - вводил в поиск Google: "Some Experience Required" site:kiosk.fas.ie - результат: Описание веб-страницы недоступно из-за ограничений в файле robots.txt Как обойти такие настройки сайта и всё-таки выполнить поиск в полной мере? |
17.08.2012, 17:34 | #2 (ссылка) |
Новичок
Регистрация: 24.05.2010
Сообщений: 29
Репутация: 0
|
Даю наводящий вопрос:
Если сначала скачать сайт на компьютер, а потом выполнить поиск, как думаете, получится? У кого опыт есть в этом деле, помогите. ---------- Добавлено в 15:34 ---------- Предыдущее сообщение было написано в 14:38 ---------- Способ найден: использовал программу для скачивания сайтов MetaProducts Offline Explorer. Скачал сайт (нужную ветку), выполнил поиск, всё нашёл. |
Ads | |
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1) | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Можно ли обойти ограничение использования торрентов | gekon09 | Интернет и сети | 0 | 05.10.2011 20:39 |
Как обойти бан по IP ? | kpripper | Интернет и сети | 6 | 26.10.2009 13:16 |
php поиск в txt Файле двух одинаковых слов | kostas312 | Программирование | 1 | 23.10.2009 20:57 |
что должно быть прописано в файле robots | primax | Оптимизация | 2 | 02.06.2009 00:38 |
Как обойти фаервол? | Morgan | Безопасность | 1 | 02.02.2008 11:27 |