Найкращі інструменти для розвідки на основі відкритих джерел (OSINT) у 2023 році

Інструменти та методи OSINT поширені в кібербезпеці, де їх використовують для збору даних з відкритих джерел або для етичного хакінгу та тестування на проникнення.

Правоохоронні органи, приватні детективи та журналісти також покладаються на ті ж інструменти, щоб дізнатися більше про злочин, підозрюваного, організацію чи особу, яка їх цікавить.

Аналогічно, фахівці з управління персоналом можуть здійснювати пошук потенційних кандидатів, проводячи перевірку біографічних даних у відкритих джерелах.

Відділи маркетингу та продажів можуть використовувати інструменти OSINT, коли їм потрібно знайти конкретного користувача або просто перевірити, чи дійсна адреса електронної пошти.

На жаль, слід також визнати, що шахраї та злочинці можуть використовувати ті ж самі інструменти та методи. Наприклад, при створенні фальшивого посвідчення особи шахрай може об’єднати дані, отримані з даркнет-ринку, з даними, отриманими з відкритих джерел.

Про деякі з найпоширеніших OSINT-інструментів ми розповіли нижче (у довільному порядку):

Maltego

Maltego – це гнучка розвідувальна платформа з відкритим вихідним кодом, яка може скоротити і прискорити запити. Для більш точних досліджень вона надає доступ до 58 джерел даних, дозволяє додавати дані вручну і містить бази даних з 1 мільйоном об’єктів. Функції візуалізації також дозволяють вибирати різні формати, такі як блокові, ієрархічні або кругові діаграми, а також додавати ваги та анотації для ще більш детального аналізу.

Правоохоронні органи і фахівці з кібербезпеки можуть скористатися здатністю Maltego надавати результати розслідувань і легкі для розуміння інсайти одним кліком миші.

OSINT Framework

OSINT Framework – це чудовий інструмент. Це зручніше, ніж самостійно досліджувати кожну доступну програму та інструмент, оскільки він містить все – від джерел даних до корисних зв’язків та успішних інструментів.

Цей список не обмежується Linux; він також має альтернативи для інших ОС, що робить його універсальним ресурсом. Насправді, мати такі добре організовані ресурси зараз корисніше, ніж будь-коли раніше; єдина складність полягає в розробці ефективної техніки пошуку, яка звужує результати, наприклад, до реєстрації автомобілів або адрес електронної пошти. OSINT Framework стає основним інструментом для збору розвідувальної інформації та організації даних.

SEON

Використання соціальних мереж та інших онлайн-акаунтів людини для підтвердження її особи стає все більш поширеним у сучасній цифровій економіці. Компанія SEON взяла на себе провідну роль у цій галузі.

Ваша компанія може мати доступ до більш ніж 50 соціальних сигналів, які в сукупності формують ретельну оцінку ризиків, використовуючи системи електронної пошти та телефонних номерів. Ці сигнали не тільки перевіряють адресу електронної пошти або номер телефону клієнта, але й збирають додаткову інформацію про його поведінку в Інтернеті.

Окрім простоти використання та доступності, SEON дозволяє організаціям реалізовувати запити безпосередньо через API або навіть через плагін для Google Chrome.

Lampyre

Lampyre – це OSINT-орієнтоване програмне забезпечення преміум-класу, яке допомагає ефективно виконувати такі завдання, як комплексна юридична перевірка, розвідка кіберзагроз, кримінальні розслідування та фінансова аналітика. Ви можете встановити його на свій комп’ютер в один клік або використовувати його в браузері.

Lampyre може автоматично аналізувати понад 100 джерел даних, що часто оновлюються, починаючи з однієї точки даних, такої як реєстраційний номер фірми, повне ім’я або номер телефону.

Для отримання інформації ви можете завантажити програму для свого комп’ютера або використовувати інтерфейс прикладного програмування (API). SaaS-продукт Lampyre, Lighthouse, дозволяє клієнтам платити за кожен виклик API задля отримання повноцінної платформи для моніторингу ризиків та аналізу загроз.

Google – безкоштовний OSINT (якщо ви знаєте, як ним користуватися)

Безкоштовні та ефективні інструменти OSINT включають пошукові системи Google та інші, такі як Bing і DuckDuckGo. Звичайно, це за умови, що ви знайомі зі складними методами фільтрації. Це означає відточування пошуку таким чином, щоб отримувати найбільш релевантні результати з використанням найсучасніших алгоритмів індексації.

Вправні нишпорки протягом багатьох років з’ясовували, як “реверсити” пошукові системи. Google Dorking (також відомий як злом Google) використовує спеціальні пошукові оператори або функції, щоб значно підвищити ефективність ресурсів Google (він також працює з пошуковими системами за межами Google).

Recon-ng

Recon-ng був випущений як вільне програмне забезпечення з відкритим вихідним кодом для аналізу інфраструктури доменів веб-сайтів. З моменту свого створення він перетворився на комплексний фреймворк і зараз доступний у вигляді інтерфейсу командного рядка для Kali Linux та веб-додатку.

Його основне призначення таке ж, як і у Metasploitable, іншої програми для тестування на проникнення, і обидві програми мають вражаючу схожість у своїх користувацьких інтерфейсах. Вона має багато корисних інструментів, таких як сканування портів, пошук DNS і пошук GeoIP.

Recon-ng – один з найскладніших інструментів у нашому списку. Тим не менш, в Інтернеті є безліч матеріалів, які допоможуть вам навчитися використовувати його для виявлення конфіденційних файлів, таких як robots.txt, виявлення прихованих субдоменів, виявлення проблем з SQL, а також для виявлення системи управління контентом (CMS) і WHOIS компанії.

PhoneInfoga

Ви навряд чи знайдете кращу за PhoneInfoga програму з відкритим вихідним кодом для OSINT для пошуку телефонних номерів, хоча вона потребує певних технічних знань для використання. Технологія є універсальною і може витягти якомога більше даних з телефонного номера в будь-якій країні.

Однак, на відміну від сервісу SEON, ви не можете зробити зворотний пошук у соціальних мережах, щоб дізнатися, в яких мережах зареєстрована людина, використовуючи певний номер телефону.

Email Hippo

Email Hippo існує з 2009 року. Незважаючи на це, останнім часом він зазнав значних змін і більше не є загальнодоступним. Збагачення даних для розслідувань, маркетингу та захисту від шахрайства – це лише деякі з випадків використання, для яких рішення поділяється на CORE, MORE, ASSESS та WHOIS.

На жаль, позиціонування продукту кардинально змінилося, що ускладнює його розуміння. Безкоштовна пробна версія триває лише 14 днів і не потребує кредитної картки, але цього часу достатньо, щоб вирішити, чи підходить вона вам.

Shodan

Shodan – це складна пошукова система, яка забезпечує миттєву видимість ІТ-інфраструктури компанії. Ввівши назву компанії, користувачі можуть отримати категоризований список своїх IoT-пристроїв, організований за мережею або IP-адресою, а також інформацію про їхнє місцезнаходження, налаштування конфігурації та будь-які дірки в безпеці.

Передові програмні інструменти Shodan також дозволяють проводити поглиблене дослідження операційної системи, відкритих портів, типу веб-сервера та мови проектування, яку використовують співробітники компанії.

Aircrack-ng

Aircrack-ng фокусується на різних сферах безпеки WiFi:

• Моніторинг: Захоплення пакетів та експорт даних у текстові файли для подальшої обробки сторонніми інструментами
• Атаки: Атаки повторення, деаутентифікація, фальшиві точки доступу та інші за допомогою ін’єкції пакетів
• Тестування: Перевірка можливостей WiFi карт та драйверів (перехоплення та ін’єкція)
• Злам: WEP і WPA PSK (WPA 1 і 2)

Адаптивність до багатьох операційних систем, включаючи Windows, OS X і FreeBSD, є основною перевагою цієї програми, яка спочатку була розроблена для Linux. Крім того, можливості інтерфейсу командного рядка (CLI) забезпечують додаткову гнучкість. Це дозволяє більш досвідченим користувачам швидко і просто створювати скрипти для подальшого налаштування інструменту відповідно до їхніх конкретних потреб.

BuiltWith

BuiltWith – це вражаюче потужний детектор веб-сайтів, який розкриває стек технологій, фреймворки, плагіни та інші деталі, що стоять за відомими веб-сайтами. Це хороший ресурс для тих, хто розглядає можливість використання подібних технологій на своїх веб-сайтах.

BuiltWith також містить список бібліотек JavaScript і CSS, які можуть використовуватися на веб-сайті, що дає вам ще більше конкретної інформації про структуру цих веб-сайтів. Таким чином, BuiltWith корисний для неформальних досліджень і проведення розвідки від імені підприємств або організацій, які прагнуть вивчити внутрішню роботу різних веб-сайтів. Поєднуйте BuiltWith зі сканером безпеки веб-сайтів, таким як WPScan, який призначений для пошуку найпоширеніших вразливостей, що впливають на веб-сайт, для забезпечення максимального захисту.

Metagoofil

Metagoofil – це безкоштовна програма з відкритим вихідним кодом на GitHub, яка може витягувати інформацію з багатьох публічних документів, таких як PDF-файли, документи Word, презентації PowerPoint і таблиці Excel. Це потужна пошукова система, тому вона може знайти будь-яку корисну інформацію, зокрема про те, які користувачі мають доступ до тих чи інших відкритих документів та їхні справжні імена, а також про сервер, на якому зберігаються ці документи, і про те, як туди потрапити.

Wayback Machine

Коли ви використовуєте Wayback Machine, ви можете отримати доступ до цифрового архіву Інтернету та всесвітньої павутини. Він підтримується для того, щоб періодично робити скріншоти веб-сторінок і зберігати їх для подальшого використання. Він як павук мандрує Інтернетом, відвідуючи різні сайти і роблячи скріншоти, щоб зберегти їх для нащадків. Знімок веб-сторінки можна додати до архіву для подальшого використання.

Крім того, що Wayback Machine є абсолютно безкоштовним, користуватися ним дуже просто. Близько 699 мільярдів веб-сторінок було заархівовано за допомогою цієї технології з відкритим вихідним кодом. Використовуючи задану часову шкалу, календар і мітки часу, ви можете шукати за певною датою, ввівши URL-адресу потрібного веб-сайту.

Spyse

Spyse – це “найбільший реєстр інтернет-активів” для аналітиків з кібербезпеки. Spyse – це інструмент збору даних, який використовують кілька організацій, зокрема Open Web Application Security Project (OWASP), IntelligenceX та Intel 471. Потім механізм Spyse вивчає цю інформацію, щоб виявити потенційні загрози безпеці та встановити зв’язки між залученими організаціями.

Незважаючи на наявність безкоштовного плану, розробникам, які хочуть створювати додатки, що використовують Sypse API, може знадобитися платна підписка.

Haveibeenpwned

Have I Been Pwned від Троя Ханта – це сервіс, який дозволяє користувачам побачити, чи була їхня особиста інформація, така як адреси електронної пошти та номери телефонів, доступна в Інтернеті через хакерську атаку. Щоб перевірити, чи було зламано ваше ім’я користувача, пароль або номер телефону, все, що вам потрібно зробити, це ввести цю інформацію в пошуковий рядок веб-сайту.

Intelligence X

Intelligence X – це перший у своєму роді архівний сервіс і пошукова система такого типу, що зберігає архівні копії веб-сторінок і повні набори витоків даних, які в іншому випадку були б видалені з Інтернету з причин неприйнятного змісту або на законних підставах. Хоча це може здатися схожим на роботу інтернет-архіву Wayback Machine, існують важливі відмінності в тому, які матеріали прагне архівувати Intelligence X. Intelligence X архівує будь-який набір даних, незалежно від того, наскільки суперечливим він може бути.