Мониторинг и сбор информации

Мониторинг и сбор информации из сети Интернет является неотъемлемой частью бизнес разведки. Компания «Аналитические бизнес решения» обладает большой экспертизой и опытом в настройке автоматического мониторинга сайтов и извлечения данных с веб-ресурсов и открытых онлайн баз.

В системе «Семантический архив» за автоматический сбор информации в Интернете отвечают 2 модуля: «Мониторинг» и платформа «МБФ». Платформа «МБФ»- новая  разработка компании, ее развитие происходит в настоящее время.   

Модуль «Мониторинг»

Модуль является собственной разработкой компании и  предназначен для автоматического сбора новостей с настроенных новостных сайтов (Lenta.ru, RBC, Ведомости, блоги, форумы, Twitter и т.д.) и интернет поисковиков (Yandex, Google, Rambler и т.д).

Модуль имеет удобный интерфейс и легок в освоении. Удобный визуальный редактор поможет  быстро настроить робот даже без знания HTML языка.

Данный модуль хорошо подходит простым медийным и новостным сайтам. Он может поставляться с уже настроенными шаблонами как на наиболее известные и популярные Интернет-ресурсы, так и на отраслевые сайты, список которых наша компания постоянно расширяет (список настроенных сайтов можно получить в  отделе продаж).

Модуль «Мониторинг» может работать автономно от системы «Семантический архив». Его  можно использовать как агрегатор новостей, для удобного просмотра и чтения новостей с выбранных сайтов, блогов, социальных сетей в одном месте. (щелкните на картинку для увеличения)

monitoring.jpg

 Возможности модуля

·        Настройка автоматического сбора новостей с новостных сайтов, сайтов компаний, социальных сетей и др.;

·        Сбор новостей по ключевым выражениям;

·        Сбор новостей с использованием  RSS-каналов, так и без них;

·        Автоматическое выделение реквизитов документа (источник, URL, авторы и т.д.);

·        Возможность обмена настроенными заданиями на новостные или поисковые сайты между пользователями модуля;

·        Автоматический запуск поисковых заданий по указанному расписанию;

·        Автоматический запуск сразу нескольких заданий на разные источники в интернете;

·        Использование фильтров для отбора новостей по ключевым словам. Подсветка искомых фраз прямо в модуле;

·        Сохранение результатов в виде файлов на жесткий диск или базу SQL или в базу ИАС "Семантический архив".


Платформа «МБФ»

Платформа является собственной разработкой компании и предназначена для сбора информации не только новостных сайтов, но и блогов, форумов, поисковиков, социальных сетей, онлайн баз данных и поставщиков любого контента.

Уникальность технологии заключается в том, что поисковый алгоритм каждого робота написан с учетом  конкретного источника. Благодаря этому достигается максимальная гибкость в работе, загрузке, анализе и хранении данных в системе «Семантический архив». Для каждого робота разрабатывается панель настроек и состояний, которая позволяет пользователям задавать набор параметров, по которым он будет работать. Роботы могут "запускаться" как из специального модуля, так и прямо из системы (щелкните на картинку для увеличения)

monitoring2.jpg

Возможности  платформы 

·        Автоматическое извлечение данных с веб-сайтов и сохранение их в удобном виде в базу системы «Семантический архив». Парсинг сайтов, таблиц, форм, данных документов на сайтах;

·        Сохранение в системе всех поисковых задач. Всегда можно проследить, как работал  пользователь, что искал и какие результаты были найдены в конкретной поисковой сессии;

·        Большое количество настраиваемых параметров для скачивания: темы, форумы, сообщения стены, комментарии, аккаунты пользователей, фото и пр.;

·        Формирование и ведение структурированной базы данных сообщений и досье на  пользователей социальных сетей;

·        Гибкие настройки поиска негативных и позитивных упоминаний, фраз, объектов поиска;

·        Эмуляция действий реальных пользователей в поисковых формах онлайн баз  и извлечение найденных результатов в базу данных «Семантического архива»;

·        Сквозной поиск. Поиск объектов интереса – компаний/персон  с учетом синонимов, сокращений, аббревиатур  одновременно в большом количестве сайтов, онлайн базах, поисковиках, социальных  сетях  в режиме реального времени;

·        Возможность выбора среди найденных результатов. Результаты показываются в виде таблицы с параметрами, в которой пользователь может быстро выбрать найденный объект и только после этого он загрузится в базу данных системы;

·        Использование автоматической антикапчи ;

·        Использование как внешних роботов (Интернет), так и внутренних (любые базы компании);

·        и многое другое.


Специально для решения по экономической безопасности в системе была  реализована функция "Единого окна" для поиска информации в бесплатных государственных он-лайн базах ФНС, Высшего арбитражного суда, госзакупок, банкротств, недобросовестных поставщиков, а также Яндекс.блогах, Гугл.блогах, социальные сети и пр. Пользователь может проверить компанию или персону сразу во многих источниках, включая платные ресурсы: СПАРК (www.spark-interfax.ru ), Мультистат и базе данных ЕГРЮЛ (ФНС). 

В настоящее время разработаны роботы по автоматической проверке компаний и персон в онлайн базах данных таких стран как: Казахстан, Украина, Великобритания, США, Германия. Подробный список можно получить, обратившись в наш отдел продаж.  


spisok.jpg 




Создание сайта SeaDesign O2