OSINT: разведка на основе открытых источников

Рассказываем, что такое разведка по открытым источникам, и делимся лайфхаками, которые помогают нам находить в интернете информацию о ком угодно.

Кому будет полезна эта статья: 

• предпринимателям, которые столкнулись с инфоатакой;
• журналистам и блогерам;
• всем, кто интересуется вопросами сбора и анализа информации.

Что такое OSINT-разведка

OSINT (от англ. Open Source Intelligence — разведка по открытым источникам) — законный сбор информации из любых общедоступных каналов; разведывательная дисциплина. Технологию используют в журналистике, пентестинге, аналитике, при раскрытии преступлений, в бизнесе, чтобы изучить конкурентов, и в личной жизни. Например, когда нужно больше сведений о подрядчике/контрагенте по ИНН или информация о человеке, с которым недавно познакомились, и пробиваете его по всем доступным базам данных — это тоже OSINT. 

В качестве источников используют публикации в газетах и журналах, теле- и радиопередачи, архивы и библиотеки. Но чаще всего в последнее время данные собирают в интернете: из онлайн-СМИ и пресс-релизов, социальных сетей, форумов, реестров и других информационных систем. 

Чем отличается OSINT от шпионажа

Они могут включать одни и те же технологии получения сведений, но OSINT проводится легально, а шпионаж предполагает незаконное получение сведений. Мониторить новости и посты может кто угодно, вопрос в том, где и как он использует эту информацию. Проверить надежность соискателя и узнать его интересы — можно, использовать сведения для передачи их иностранным службам — госизмена. 

Как работает OSINT

На бытовом уровне разведка подразумевает поиск в любых источниках: через поисковые системы, социальные сети, по изображениям, метаданным, государственным базам данных и даже репозиториям GitHab. 

Профессиональная разведка включает пять этапов:

1. Подготовка — определение целей и источников поиска. Например, если журналист готовит расследование, сначала нужно определить, какие именно данные искать, о ком/чем и для чего.
2. Сбор сведений — сбор статей, публикаций и другой информации вручную или автоматизированными способами. 
3. Систематизация — информацию обрабатывают, удаляя неточные сведения и дубли. В интернете одну и ту же статью могут опубликовать бесконечное количество раз — чтобы подготовить ее к работе над расследованием, сначала нужно избавиться от повторений и провести фактчекинг. 
4. Анализ — поиск закономерностей и визуализация. Например, цель расследования — уличить чиновника во взятке и доказать нерациональное расходование средств. Тогда закономерностью могут быть родственные связи между чиновником и подрядчиком, который получил тендер на строительство дороги без подобного опыта. Чтобы ускорить анализ, данные систематизируют или составляют таблицы. 
5. Распространение и интерпретация результатов — подготовка и публикация отчетов.

Где используется OSINT: 5 примеров расследования от наших экспертов

Во времена холодной войны власти США получали до 90% информации из доступных источников. Сегодня OSINT не только сохраняет свою роль в государственных органах безопасности и обороны, но и находит применение в частном секторе, помогая получать конкурентные преимущества, выявлять уязвимости в системах безопасности и понимать потребности целевой аудитории.

Наши эксперты часто применяют методы открытой разведки на работе и в личной жизни. Вот их примеры использования OSINT:

Как «пробить» водителя такси, чтобы добраться до дома без приключений

Я живу фактически на два города и часто езжу на BlaBlaCar, потому что расписание автовокзалов обычно не подходит. Ездить с незнакомцем часто некомфортно, а когда ты девушка — еще и страшно, ведь ты первый раз видишь его. 

Поэтому перед поездками я стала искать информацию о водителях, с которыми мне предстоит провести несколько часов в дороге. А потом и вовсе выработала алгоритм проверки: 

Я всегда проверяю наличие штрафов от ГИБДД на сайте ФССП по ф. и. о. и дате рождения. Я не проверяю их детально, смотрю только на количество. Иногда, если мне кажется, что водитель такси нетрезв, проверяю его по номеру автомобиля в веб-сервисе ГИБДД и по возможности отправляю всю информацию человеку, который меня встречает.

Как работодателю проверить информацию о сотруднике

Моя знакомая работает рекрутером, и иногда я помогаю ей в проверке кандидатов. Это обычная практика — две трети работодателей проверяют соискателей перед собеседованием, но не все могут позволить себе отдельную службу безопасности. Тогда на помощь приходят открытые источники. 

На момент проверки у нас были: 

• ф. и. о. кандидата; 
• дата рождения; 
• город; 
• номер диплома; 
• номер телефона; 
• ИНН и паспортные данные.

Имея на руках эти данные, можно узнать практически все: проверить адрес и подлинность документов, убедиться в порядочности кандидата и узнать больше о его интересах. Алгоритм проверки:

1. Проверяем подлинность документов. Паспорт проще всего «пробить» через формы на Госуслугах, а ИНН — на сайте ФНС. Сервис покажет ИНН кандидата после того, как введете его фамилию, имя, отчество, дату рождения и паспортные данные. Диплом об образовании проверяем запросом в учебное заведение или в Рособрнадзор.

2. Наличие судимости (у кандидата или его близких родственников). Суды публикуют сведения о производствах, по ним можно проверить, выступал ли человек когда-нибудь истцом или ответчиком. Еще есть открытые системы, которые объединяют информацию сразу по всем судам, например, СудАкт и Правосудие.

3. Финансовое положение (вдруг кандидат банкрот или должник). Долги по исполнительным производствам проверяем на сайте ФССП. Если у человека есть неоплаченные штрафы и долги, база это покажет — потребуются ф. и. о. и дата рождения. А если он проходил процедуру банкротства, сведения о нем можно найти в специальном реестре. 

4. Сведения с предыдущих мест работы. Заранее запросите у соискателя список контактных лиц с прошлого места работы, чтобы навести справки. Обычно интересуют такие вопросы:

• как работал;
• причина увольнения;
• обращения в ГИТ;
• поведение в коллективе;
• навыки;
• наличие взысканий и поощрений.

5. Частная и личная жизнь. На этом этапе исследуют соцсети потенциального сотрудника — в каких группах состоит, чем увлекается и пр. Одни рекрутеры делают это вручную, другие обращаются к Telegram-ботам. Учитывайте, что боты, которые аккумулируют персональные данные, нелегальны. 
6. Некоторые организации проверяют всю семью кандидата: состоят ли он или близкие члены его семьи в сомнительных сообществах, криминальных/экстремистских группировках, связаны ли они с конкурирующим бизнесом. Хотя это не может стать официальной причиной отказа и будет рассматриваться как дискриминация. 

Вот так мы за пару часов узнали о соискательнице все, что нужно, и убедились в ее благонадежности — работу она получила. 

Вычислил недобросовестного подрядчика и вернул 1 миллион рублей

«Строитель забрал деньги и сбежал» — я видел много таких историй в интернете, но не думал, что окажусь в ней. Точнее, оказались мои родственники — они начали строительство дома и заключили договор со старым знакомым. Не выполнив работы на ₽1 млн, подрядчик ушел. Несколько месяцев он обещал вернуть деньги, переводил звонки на бухгалтера, но дело не двигалось — тогда я и воспользовался инструментами открытой разведки. 

Я узнал, что этот строитель давно занимался сомнительными махинациями, собрал доказательства и потребовал вернуть деньги. И менее чем за неделю мне вернули всю сумму. А вот что я делал, чтобы вычислить мошенника: 

1. Во время переговоров (а точнее уговоров вернуть деньги) я узнал, что наш договор заключен через бухгалтера — она и получила наши деньги. Поэтому я стал «копать» в этом направлении.
2. По номеру телефона бухгалтера через бота в Telegram-канале, который называют «глазом бога», я вычислил ее ф. и. о. и ИНН.
3. На сайте ФССП я проверил актуальность долгов бухгалтера, а на сайте Checko.ru — организации, в которых она числилась директором. Их оказалось несколько. 
4. На Rusprofile.ru я узнал, что компания, с которой мы заключали договор, зарегистрирована не на нашего строителя и даже не на бухгалтера, а на 21-летнюю девушку! 
5. С помощью GetContact проверил, как номер записан у других людей в телефонной книге — в поисковой выдаче были слова «модель», «танцы» и «*имя строителя* карта». То есть кто-то сохранял ее номер для отправки денег. 
6. Бот в Telegram-канале нашел дополнительные сведения о девушке — фамилия и адрес совпадали с данными бухгалтера фирмы. Оказалось, что 21-летняя девушка, владелица фирмы, — это дочь бухгалтера, которую привлекали для заключения договоров. 
7. Всю найденную в сети информацию я использовал во время общения с бухгалтером — позвонил ей, рассказал о том, что доказательства у меня на руках. В результате женщина решила не эскалировать конфликт и вернула деньги за несколько дней. 

Как найти автора отзыва на Яндекс Картах за 2 шага

К нам часто обращаются за удалением отзывов на Яндекс Картах — иногда, чтобы удалить негатив, организации нужно связаться с автором и уладить конфликт, например, предложить скидку или обмен товара. В большинстве случаев клиенту достаточно слов «Да, мы совершили ошибку, были неправы. Извините — мы готовы сделать *то-то* и *то-то*», чтобы клиент поменял мнение о компании и удалил негативный пост. 

Бывает и так — автор никогда не был клиентом организации, а низкую оценку поставил по какой-то другой причине. В таких случаях мы помогаем организациям найти негативщика, чтобы разрешить проблему. И вот один из методов, которым мы пользуемся:

1. Открываем страницу пользователя, который оставил отзыв, и заменяем в адресной строке «reviews.yandex» на «kinopoisk», другая часть остается неизменной.

2. Переходим по получившейся ссылке — если человек пользуется Кинопоиском (а это бывает примерно в 60% случаев), откроется его страница в этом сервисе. На ней находим готовый email или логин, к которому нужно дописать «@yandex.ru». А его проверяем в боте, о котором говорили выше.

Это лишь один из десятков методов, которые мы используем. Для каждого случая удаления мы подбираем свой эффективный алгоритм, основываясь на опыте и контексте ситуации. Поэтому пользователям всегда советуем не пытаться самостоятельно решать конфликт, а сразу обратиться за удалением, чтобы предотвратить риски эскалации и снизить репутационные издержки. 

OSINT в сфере информационной безопасности организаций

Злоумышленники используют разведку для подготовки кибератак на организации — чем больше они соберут данных, тем успешнее будет атака. При этом около половины атак производят с помощью социальной инженерии. Киберпреступники изучают социальные сети сотрудников компании, в том числе профили в LinkedIn и на hh.ru. 

Крупные ИТ-компании для защиты от OSINT применяют пентестинг — это тестирование на проникновение, которое позволяет обнаружить угрозы и вовремя их исправить. Специалисты по кибербезопасности действуют как злоумышленники, используя в том числе и серфинг в интернете, чтобы изучить слабые места организации. Это позволяет защищать систему от взлома. 

Кроме того, в коммерческих и государственных организациях важно развивать у сотрудников навыки работы с информацией, обучать анализу данных и повышать осведомленность о фишинге и социальной инженерии. Раз в полгода все сотрудники должны менять пароли на рабочих компьютерах и в сервисах, которые используют для работы. Компаниям, которые работают с большими объемами персональных данных, стоит настроить собственный сервис защищенного доступа для работы с корпоративными данными.

Какие навыки нужны для разведки по открытым источникам

Для начала работы не нужны какие-то особые навыки. Но не лишними будут soft skills, например, аналитический склад ума, коммуникабельность, умение анализировать большие объемы информации и знание компьютерных программ и систем аналитики.

А вот если вы планируете заниматься исследованием профессионально, потребуется изучить: 

• Google Dorks — технология составления запросов в Google;
• алгоритмы работы поисковиков, индексирования и кэширования;
• особенности работы хостинг-провайдеров и регистраторов доменов — разобраться, чем они отличаются и как работает сервис Whois для проверки доменных имен;
• модели OSI и TCP/IP;
• законодательство стран, в которых планируете проверять информацию;
• особенности фактчекинга и верификации в сети;
• открытые базы и государственные реестры;
• некоторые языки программирования, например, HTML, Java и Python, для обработки большого количества данных. 

Методы OSINT

Все методы разделяют на две категории.

Пассивные методы

Это группа поисковых методов, при которых вы собираете материалы без взаимодействия с целью. Поиск ограничивается исследованием открытых источников вручную или с помощью парсеров, которые упрощают сбор. Сюда входит: 

• Мониторинг социальных сетей и профилей. Анализ профилей, групп и обсуждений, резюме, LinkedIn, GitHub и пр. Анализ активности в мессенджерах и на платформах, открытых персональных данных. 
• Просмотр баз данных с утечками. Возможно, персональная информация попала в одну из баз, которой удалось завладеть хакерам. 
• Просмотр архивов сайтов. Например, через сервис web.archive — это поможет вычислить сведения, которые когда-то удаляли, или просмотреть уже не существующие страницы.
• Изучение карт и геолокационных сервисов. Для этого используют Яндекс Карты, Google Map или Earth, SunCalc и пр. Геосервисы помогут определить местоположение, по снимку узнать локацию и даже время съемки по положению теней. 

Активные методы

Эти методы подразумевают прямое взаимодействие аналитика с объектом исследования, использование специализированных платных ресурсов или совершение действий, которые требуют серьезных усилий.

1. Использование специального ПО. Например, сканеров или программы для сбора IP-адресов, геолокации, истории браузера.
2. Поиск на платных или закрытых веб-ресурсах. Они выступают источниками информации, которой нет в общедоступных статьях и блогах. 
3. Работа с информаторами в качестве источников. Взаимодействие с людьми, которые могут предоставить ценную информацию об интересующем объекте.
4. Создание поддельных каналов сбора. Например, ресурсов или чатов в мессенджерах, которые собирают персональные данные. 

OSINT-инструменты

Инструменты — это чаще всего специализированные фреймворки и платформы, которые позволяют автоматизировать сбор данных. Для работы с некоторыми из них понадобится знание основ программирования и SQL для написания собственных скриптов. 

OSINT-Framework

Одна из самых полных баз открытых источников. Представляет собой интерактивную карту с ответвлениями по категориям. Выбрав ту или иную ветку, пользователь переходит на подкласс, а затем — на источник данных. Сам по себе фреймворк не содержит персональную информацию, но упрощает нахождение нужных материалов в сети. 

Maltego

Популярный инструмент визуализации среди аналитиков в области безопасности и частных детективов. Он помогает увидеть связи между различными категориями данных: домены, соцсети, email. Сам сервис платный — цена годовой подписки составляет €1099 для физлиц, но есть ограниченная бесплатная версия. 

Shodan

Система, которая позволяет обнаруживать по IP-адресу, домену или порту подключенные к интернету устройства. К ним относятся камеры видеонаблюдения, маршрутизаторы, датчики безопасности, устройства умного дома. Аналитики используют программу для выявления уязвимостей и угроз безопасности. Сама по себе она не представляет угрозы, но злоумышленники с ее помощью находят и взламывают незащищенные устройства. 

Google Dorks

Простой инструмент для пользователей, которые только начали изучать веб-разведку. Google Dorks — это система, которая упрощает серфинг в сети благодаря операторам, специальным словам, фильтрующим выдачу. Например:

• cache: — поиск в кеше;
• filetype: — поиск сведений в определенных типах файлов. 

Это полезно для обнаружения уязвимостей в системах безопасности или получения доступа к закрытым разделам сайта. Но использование Google Dorks незаконно, если нарушает права собственности или конфиденциальности. 

Metagoofil

Метапоисковая система, которую используют, чтобы извлечь информацию из файлов PDF, DOC и PPT. Пользователь указывает URL веб-сайта и список типов файлов, которые нужно обнаружить, а Metagoofil скачивает их и извлекает метаданные. Программа помогает парсить разные источники: документацию, справочники, каталоги и пр. 

Как защититься от OSINT

Защититься полностью нельзя — для этого придется уехать жить в землянке посреди Сибири, предварительно уничтожив паспорт и все электронные носители данных. Но усложнить поиск информации о человеке или компании можно. Для этого нужно соблюдать минимальные правила цифровой гигиены. Например:

• не указывайте точное местоположение на публикациях в соцсетях;
• используйте разные никнеймы при регистрации профилей на различных сайтах — вычислить человека проще, если он везде использует один и тот же логин;
• по возможности не пользуйтесь ботами и опросами;
• не оставляйте свои персональные данные при регистрации на разных сайтах, старайтесь не указывать телефон и почту — лучше зарегистрировать одноразовую;
• не открывайте подозрительные письма в почте и не скачивайте файлы от незнакомых отправителей;
• удалите устаревшие и неактуальные данные из интернета, чтобы мошенники не смогли ими воспользоваться в своих целях;
• внимательно относитесь к информации, которую оставляете в сети, и удаляйте «мертвые» неиспользуемые аккаунты на виртуальных платформах.

Все эти действия не защитят от OSINT, но помогут избежать проблем, которые с ней связаны — кражи персональных данных и взлома аккаунтов.