2.3.2. Принципы организации сбора, обработки, хранения и передачи статистических данных

Качественно новые и глубокие преобразования в экономике, социальной сфере, характере государственного управления, а также повышение роли и значения региональных и местных органов власти за последние 10-12 лет повлияли и на общие требования к современной государственной статистике. Это и подход к государственной статистике как к основе общественной системы информации, это и безусловное обеспечение сбора надежных данных, их обработки, хранения и распространения, это и функционирование государственной статистики как независимой, открытой общественной службы, это и представление адекватных индикаторов и другой структурированной социально-экономической информации, ориентированной на принятие управленческих решений.

В ряду названных требований к государственной статистике соединение функций по сбору и обработке статистических данных и связанной с ними разработке научно-методологических вопросов по научному обобщению и анализу собранной информации является одним из центральных, если не важнейшим, принципом правильного построения статистики.

Производство статистических данных представляет собой сложный многоступенчатый процесс, от уровня научной организации которого решающим образом зависит качество информации.

Многолетняя практика статистической работы, большой вклад в которую внесли и советская, и российская статистики, выкристаллизовала в этом процессе следующие основные этапы:

  1. разработка методологии и системы показателей для характеристики отображаемого объекта или процесса;
  2. организационно-методическая подготовка;
  3. сбор данных (непосредственно наблюдение);
  4. свод и группировка данных;
  5. обработка и анализ данных.

Первый этап предполагает изучение задач, для решения которых требуется статистическая информация, определение с учетом требований этих задач перечня необходимых статистических показателей и методологии их исчисления.

Второй этап состоит в разработке конкретной программы наблюдения и обработки данных, необходимых инструктивно-методических материалов, формуляров, подборе и обучении исполнителей, выборе методов и средств получения необходимых данных, составлении организационного плана исследования.

Третий этап представляет процесс получения первичных данных об элементах исследуемой совокупности и их свойствах, которые становятся потом предметом статистической обработки.

Четвертый этап состоит в систематизации материалов наблюдения по признакам, необходимым для выявления типичных групп объектов и процессов с однородными свойствами для характеристики структуры исследуемой совокупности, а также в получении общих и групповых итоговых показателей.

Пятый этап объединяет разнообразные статистические расчеты, выполненные на основе индивидуальных и сводных показателей (вычисление относительных, средних и других производных показателей, определение статистических характеристик динамических рядов и тесноты связи между различными показателями, их социально-экономический анализ и формулировка выводов статистического исследования).

Необходимо отметить, что такая последовательность этапов статистической работы сложилась в условиях, когда операции по сбору и обработке данных выполнялись вручную или с применением простейших средств механических вычислений, которые не могли серьезно повлиять на общую схему организации статистического производства.

Осуществленный к настоящему времени переход на новую вычислительную технику и современные технологии обработки, хранения и распространения информации вызвал изменения в традиционной схеме организации статистической работы, привел к изменению состава работ и методов их выполнения. Меняется принципиальный подход к проблеме сбора, обработки и передачи первичной и сводной статистической информации.

Во-первых, вслед за сбором данных выделяется этап подготовки данных для электронной обработки (шифровка данных, нанесение на технические носители и т.д.). Этап подготовки данных может быть совмещен со сбором их, если уже при первичной регистрации они заносятся на специальный машиночитаемый документ.

Во-вторых, возрастает значение и обособляется комплекс работ по контролю, т.е. по проверке достоверности данных. Контроль, как таковой, осуществляется на всех этапах прохождения статистической информации. Но особое значение имеет входной контроль, т.е. проверка достоверности данных, получаемых после этапов наблюдения и подготовки к электронной обработке, поскольку ошибки, допущенные на этих этапах, искажают результаты последующих расчетов и, как правило, не могут быть в дальнейшем устранены.

В-третьих, в рамках автоматизированной системы, когда требуется накопление, быстрый поиск и многократное использование в различных расчетах соответствующих показателей, получаемых в разные отрезки времени и из разных источников, функция хранения и поиска данных (при ручной технике эта функция не возникала) обособляется и становится центральным звеном в системе сбора и обработки данных. Хранение и поиск статистических данных поддаются автоматизации и должны быть полностью автоматизированы.

В-четвертых, все вычислительные и логические операции, реализуемые в автоматизированном режиме, объединяются в единый этап обработки данных. При этом оказывается неоправданным выделение сводки и группировки как особого этапа статистической работы: соответствующие им операции образуют внутреннее подразделение единого этапа обработки, в рамках которого они стыкуются с аналитическими расчетами. В то же время в качестве особого заключительного этапа статистической работы выделяется анализ данных, получаемых после обработки, который полностью остается прерогативой экономиста-статистика.

Произошедшие за последние годы изменения в информационных технологиях как в производительности отдельных вычислительных комплексов, так и в телекоммуникациях, позволяют проводить дальнейшее развитие существующих процессов сбора, обработки и распространения статистической информации. Осуществление их должно базироваться на определенных принципах, исторически проверенных и подтвердивших свою эффективность еще в 70-80-х годах прошлого века при создании автоматизированной системы государственной статистики (АСГС). Речь идет, прежде всего, о принципе новых задач, который заключается в том, что и в новых условиях развития ИВС Госкомстата России предполагается не просто традиционный перевод учетно-статистических работ на новый вид вычислительной техники, а внедрение новой системной технологии обработки.

Технология обработки информации, включая рациональную организацию массивов и построение системы хранения и поиска информации в архиве данных, должна обеспечить интеграцию обработки данных, комплексное их использование. В соответствии с этим система сбора и обработки статистической информации должна строиться таким образом, чтобы из установленного объема исходных данных извлекался максимум информации, необходимой для анализа и управления.

Комплексная обработка данных – условие эффективного применения электронной техники. Высшая ее форма – использование программ комплексного анализа статистических показателей с применением математических методов и моделей. Важным в технологическом обеспечении является применение централизации обработки статистической информации – сокращение промежуточных звеньев обработки отчетности.

Первым шагом в этом направлении (и основным содержанием первой очереди АСГС) стали комплексы электронной обработки статистической информации (КЭОИ), каждый из которых, как правило, предусматривал системную обработку нескольких статистических работ, связанных между собой единым экономико-статистическим содержанием.

Каждый КЭОИ имеет свои (локальные) специфические задачи, вытекающие из назначения статистической информации и свойств статистического обследования, состава и характера показателей, приемов их исчисления и используемых для этого алгоритмов, а также уровня, для которого разработан данный комплекс. В свою очередь, основным принципом разработки комплексов является интеграция информации на всех уровнях системы, предусматривающая минимизацию объема вводимой информации, исключение дублирования и относительных показателей в первичных документах. Системность технологии комплексов предопределяется работой ИВЦ по единому информационному, математическому и техническому обеспечению с передачей результатов от низшего уровня к высшему на технических носителях или по каналам связи.

Проблема повышения интеграции и аналитичности обработки статистических данных потребовала перехода от документального метода ввода, хранения и обработки учетно-статистической информации к более эффективным методам организации хранения, поиска и обработки данных, позволяющим рациональнее использовать возможности современной электронной техники.

В настоящее время широкое применение получила регистровая форма хранения информации, предусматривающая ведение и обработку данных независимо от форм статистической отчетности. Регистр представляет собой систему накопления, хранения, обновления, поиска и обработки информации, сформированной отдельно по каждой единице наблюдения. Единые средства описания данных, предусмотренные в регистре, позволяют комплексно обрабатывать любые группы показателей из его информационного фонда. Тем самым достигается качественно новый уровень интеграции данных и их обработки.

В зависимости от степени интеграции и содержания информационного фонда регистры могут создаваться в рамках важнейших статистических работ отдельных или нескольких отраслей или секторов экономики. Таким образом, регистры могут рассматриваться как первоначальная подготовительная форма создания автоматизированных банков данных (АБД).

Создание АБД – необходимая предпосылка совершенствования комплексного экономико-статистического анализа и широкого применения экономико-математических методов. Это позволяет существенно сократить потоки отчетной информации, снизить трудоемкость хранения, поиска, обработки и выдачи данных, резко улучшить качество информационно-справочного обслуживания потребителей экономических данных, выдавая их в короткие сроки как по регламентированной программе, так и по отдельным запросам. Хранение данных в АБД создаст предпосылки для более полной автоматизации контроля качества информации и позволит осуществить динамическую непрерывность информационного фонда. Это достигается применением единого информационного, программного и технического обеспечения, централизованных каталогов, словарей и классификаторов, единых стандартов и нормативов.

Технология, основывающаяся на применении АБД, предъявляет повышенные требования к типу и возможностям используемой вычислительной техники (емкости оперативной и внешней памяти, производительности машин, системному программному обеспечению и т.п.).

В настоящее время создаются условия (в частности, в связи с существенным снижением показателя цена/производительность для серверов баз данных, аппаратных вычислительных платформ и устройств хранения данных) для повсеместного перехода к банковской технологии хранения и обработки информации, внедрению двух- и трехзвенных архитектур “Клиент-сервер”.

Внедрение новой технологии обусловливает принцип системного объединения вычислительных элементов, предполагающий соединение всех элементов технической базы (на всех уровнях) в единую вычислительную систему. При этом каждый из элементов выполняет определенную, заданную проектом обработки информации, целевую функцию. Иными словами, каждый из уровней технической базы реализует определенный этап обработки информации. При этом предполагался обмен результатами обработки от уровня к уровню на технических носителях информации или по соответствующим каналам связи. Таким образом, принцип системного объединения требует, в свою очередь, соблюдения принципа специализации вычислительных элементов по отдельным уровням технической базы.

Реализация принципов системного объединения и специализации базируется на иерархической структуре технической базы ИВС Госкомстата России и принципе типизации проектных решений. Этот принцип обусловлен единым программным обеспечением системы, общим для вычислительных элементов всех уровней, с учетом особенностей задач, решаемых на каждом из них.

При этом предусматривается единая взаимоувязанная организация данных на всех видах носителей. Такая организация данных обеспечивается применением единых классификаторов и систем обозначений, типизацией состава показателей, унификацией и приспособлением к автоматизированной обработке первичных и сводных статистических форм ряда вспомогательных документов и т.д., а также применением унифицированных структур сообщений при передаче данных по каналам связи.

В отношении технической базы ИВС Госкомстатом России должны соблюдаться также принципы непрерывного развития системы и согласования пропускных способностей отдельных частей ее технической базы. Первый из них означает, что оснащение и дооснащение современным вычислительным оборудованием, средствами связи и другой техникой – процесс непрерывный. Это во многом определяется, с одной стороны, общей перспективой развития статистической науки и практики работы органов государственной статистики как крупнейшей в стране специализированной межотраслевой информационной системы, а с другой – научно-техническим прогрессом в области производства и применения вычислительной техники. Второй – выражает совершенно очевидное положение – было бы ошибочным увеличивать мощности какого-либо одного ВЦ, если мощности всех остальных ВЦ, обрабатывающих аналогичную информацию, ограничены.

В связи с этим при развитии технической базы учитываются направления потоков обрабатываемой информации, их объемы, сроки и сложность обработки и т.п. Такой подход обеспечивает взаимоувязку особенностей обработки информации на каждом из вычислительных центров с требованиями непрерывного и равномерного развития сети вычислительных центров.

И наконец, особое значение для функционирования технической базы информационно-вычислительной системы имеет принцип живучести, т.е. способность системы к определенной компенсации отказов или сбоев функционирования отдельных элементов технической базы. Это должно обеспечиваться за счет передачи функций вышедшего из строя вида электронного оборудования аналогичным видам такого же оборудования или оборудования более высокого класса. При этом предъявляются определенные требования к каналам связи, устройствам обмена информацией, наличию в каждом ВЦ машин-сателлитов, организующих процесс передачи функций.

Информационная система государственной статистики должна находиться в постоянном совершенствовании и развитии. В 1996-2000 гг. осуществлялась Федеральная программа реформирования государственной статистики, ориентированная как на обновление методологии статистического учета в связи с периодом перехода к рыночной экономике, так и на разработку и внедрение новых программно-технологических и технических средств на всех этапах статистической работы. В частности, может быть осуществлен повсеместный переход к банковской технологии хранения и обработки информации.

Продолжающееся развитие Интернета и его доступность в большинстве регионов России делают возможным использование Интернета в качестве одного из основных средств взаимодействия информационно-вычислительной системы (ИВС) с внешними поставщиками и потребителями статистической информации. При условии правильной технической и юридической организации дела прогнозируется быстрый рост объемов передачи информации в электронном виде.

Новые технологии позволяют шире использовать административные источники информации, снизить благодаря этому нагрузку на респондентов и усилить роль Госкомстата России в регионах страны. Распространение информации должно упроститься благодаря новым технологиям. Таким образом, предоставляется реальная возможность для внедрения современных технологических достижений: сетей, хранилищ данных, систем взаимодействия, Интернета.

Одновременно информационные технологии открывают возможности для очень гибкого решения задач, которые раньше либо не имели решения из-за слишком жесткого строения статистической системы, либо могли решаться только путем реорганизации структуры управления.

Деятельность Госкомстата России осуществляется в экономической, социальной и технологической средах, которые постепенно принимают все более открытый характер. Требования общества к статистической информации все время растут. Для обеспечения дальнейшего эффективного выполнения Госкомстатом России возложенной на него важной общественной миссии определены стратегические направления совершенствования работы, которым должна соответствовать информационно-вычислительная система.

Конечная цель развития информационно-вычислительной системы заключается в том, чтобы способствовать решению стратегических задач Госкомстата России с учетом всего лучшего, что существует на сегодняшний день. Определенные ранее основные направления развития ИВС Госкомстата России обеспечили переход на современные принципы организации и подготовили условия для внедрения новых информационных технологий.

Как показал опыт, основные направления были выбраны правильно и позволили создать предпосылки для перехода к новому этапу развития информационно-вычислительной системы Госкомстата России. Заключались эти основные направления в следующем:

Вместе с тем из-за ограниченного финансирования сдерживается внедрение современных информационных технологий, развитие телекоммуникационной сети.

В настоящее время разработана программа и соответствующая проектная документация по дальнейшему реформированию государственной статистики. В соответствии с этой программой были предусмотрены три этапа развития ИВС: краткосрочный (завершенный в середине 2001 г.), среднесрочный (середина 2001-2002 гг.) и перспективный (2003-2007 гг.).

После проведения динамического моделирования нескольких вариантов архитектуры ИВС Госкомстата России разработан Технический проект развития ИВС Госкомстата России, в котором предусмотрены следующие основные направления:

Основные направления развития ИВС Госкомстата России играют организующую роль и не являются чем-то застывшим. Они призваны помочь строить и развивать информационно-вычислительную систему с учетом принципов ее организации, накопленного опыта и стоящих перед Госкомстатом России задач внедрения технологических новшеств.

Основные направления развития системы сбора данных по обеспечению первичного ввода информации связаны с:

Стратегическим направлением является существенное увеличение относительной составляющей входного потока данных, вводимых в автоматическом режиме. Вместе с тем неготовность определенной части предприятий к переходу на альтернативные формы представления информации, в том числе из-за недостаточной технической базы, уровня подготовки персонала, отсутствия соответствующей законодательной базы, не позволяет целиком отказаться от традиционных способов. Поэтому в качестве среднесрочной цели планируется продолжить развитие и внедрение новых версий программного обеспечения.

Принципиальным элементом новой реализации программного обеспечения сбора является создание унифицированного, единого для всех форм отчетности, программного средства.

Развитие средств первичного ввода информации в электронной форме включает следующие этапы и работы:

Для многих предприятий, особенно крупных и средних, актуальной является задача автоматизированного формирования статистической отчетности на основе импорта из уже используемых или планируемых к внедрению систем управления финансово-хозяйственной деятельностью. Поддержка такой функциональности, с одной стороны, способствует повышению качества данных, с другой – снижает трудозатраты на подготовку, ввод и проверку заполнения форм как со стороны предприятий, так и со стороны Госкомстата России. Реализация принципа открытости обеспечивается путем опубликования требований к заполнению форм статистической отчетности и определения стандартного интерфейса для взаимодействия с ИВС, что позволяет независимым разработчикам создавать специализированные расширения для различных систем учета, эксплуатируемых в настоящее время.

Ключевым моментом для обеспечения качества данных является осуществление входного контроля и редактирования (восстановления) данных в случае их отсутствия или заведомой ошибочности.

При проведении указанных работ предусматривается:

В перспективном плане стратегическими направлениями развития системы обмена информацией является:

В перспективе политика в области развития средств информатики будет строиться на основе принципа преемственности технических решений.

Разработка новых прикладных программных средств основывается на сетевой архитектуре средств информатики и на современных системах управления базами данных. В области программного обеспечения для персональных компьютеров и связи между ними делается акцент на продукцию Microsoft.

Рабочее место является точкой пересечения основных тенденций в области технического оснащения труда работников Госкомстата России. Каждому сотруднику необходимо выделить рабочее место, оснащенное так, чтобы оно соответствовало его служебным функциям. В качестве основной будет использоваться схема удобного стандартизированного рабочего места. Программное обеспечение для персональных компьютеров и коллективной работы должно создать благоприятные условия для электронного обмена данными, облегчить раскрытие прикладных программных продуктов и упростить техническое обслуживание.

В области операционных систем для рабочих станций осуществляется переход на Windows 2000, что позволит повысить как надежность работы ПЭВМ из-за уменьшения количества сбоев ПО, так и значительно повысить уровень защиты информации в ИВС.

Развитие архитектуры технических средств будет проводиться в следующих направлениях:

Типовые конфигурации будут строиться на основе стандартизованных элементов, включающих: универсальный сервер рабочей группы пользователей; сервер баз данных; сервер прикладной обработки (сервер приложений); серверы специальных технологий (Web-сервер, централизованное страховочное копирование данных и т.п.); сервер телекоммуникаций/почтовый сервер; внешний дисковый массив, обслуживающий группу серверов различных платформ; роботизированные архивы, обслуживающие все имеющиеся ресурсы; телекоммуникационное оборудование; серверы печати и средства электронно-издательской деятельности; рабочие места пользователей.

ИВС Госкомстата России базируется на локальных сетях подразделений, основанных на структурированных кабельных системах (СКС), отвечающих международному стандарту. Планируется произвести модернизацию имеющихся кабельных систем подразделений Госкомстата России и возведение новых.

Наиболее перспективным решением по организации связи между центром и территориями будет использование сети связи с ограниченным доступом, которая способна предоставить весь комплекс сетевых услуг для построения Интернет-сетей при обеспечении требований по защите информации от НСД. На районном уровне наиболее рациональным является переход на каналы связи, предоставляемые провайдерами Интернет, или региональные сети. При этом использование ресурсов сети Интернет возможно только после решения технических и организационных вопросов, гарантирующих надежность защиты ИВС и средств вычислительной техники от НСД.

Дальнейшее развитие технических средств позволило бы выдержать возрастающие нагрузки, а также появление нового профессионального и персонального программного обеспечения, поддерживать связь Госкомстата России с внешним миром, соблюдая при этом одновременно и правила по безопасности доступа, и правила по организации удобного доступа. Задача заключается в том, чтобы технические средства информатики не находились в зависимости от новых средств программного обеспечения, чтобы их развитие, напротив, “опережало” потребности. В особенности это касается электронных сетей.

Современные технические средства позволяют развивать любые формы “децентрализованной деятельности” и должны в значительной степени помочь расшить узкие места.

Обмен информацией постоянно увеличивается, что вызывает резкий рост объема информационных потоков, проходящих по каналам связи. Пропускная способность сетей имеет решающее значение. Поэтому будут внедряться такие технологии и введен такой порядок контроля, которые позволили бы все время поддерживать соответствие между пропускной способностью сетей и реальными потребностями, не теряя из вида оптимизацию сетей с точки зрения увеличения экономического эффекта.

Целесообразно развивать архитектуру этих средств с учетом новых технологий и потребностей Госкомстата России в области телекоммуникационных средств информатики. Так, в настоящее время представляется более эффективным отказ от лучевой архитектуры, при которой территориальные органы связаны друг с другом через центральный узел, и переход к сетевой архитектуре, позволяющей создать взаимосвязанные системы.

Концепция развития ИВС Госкомстата России предусматривает использование государственных защищенных сетей передачи данных, развитие которых определено в федеральных целевых программах. Так, развитие телекоммуникационных средств подсистемы государственной статистики, а также развитие средств автоматизированного взаимодействия информационно-телекоммуникационных систем федеральных органов власти предусмотрено в Федеральной программе “Создание и развитие ИТКС специального назначения в интересах органов власти на 2001-2007 гг.”, утвержденной постановлением Правительства Российской Федерации 30 октября 2000 г. № 853-63, а также в проекте программы “Электронная Россия”.

В соответствии с концепцией развития ИВС Госкомстата России телекоммуникационная система государственной статистики развивается на базе сети передачи данных “Атлас”.

Сеть передачи данных (СПД) “Атлас” создана Федеральным агентством правительственной связи и информации в соответствии с указами Президента и постановлениями Правительства Российской Федерации в рамках создания общероссийской телекоммуникационной системы для передачи конфиденциальной информации. Сеть “Атлас” обеспечивает обслуживание федеральных органов государственной власти и управления, органов государственной власти и управления субъектов Российской Федерации, силовых министерств и ведомств в процессе выполнения ими своих функциональных обязанностей.

Сеть передачи данных “Атлас” в рамках единого информационного пространства Российской Федерации предоставляет набор телекоммуникационных услуг, широко используемых в международных сетях передачи данных. Возможность обмена данными, доступ к информационно-справочным системам, автоматизированным банкам данных и другим вычислительным ресурсам, подключенным к сети, реализует услуги по организации замкнутых групп пользователей.

В ближайшие годы большое влияние на информационную систему окажет широкое распространение Интернет-технологий. Госкомстат России с нарастающей стабильностью работает в рамках единой сети, которая связывает нас с партнерами в других министерствах и других странах. Интернет и Интранет являются техническими средствами, которые способствуют распространению методов коллективной работы, так как обеспечивают управляемый доступ к информации в едином формате.

Важными проблемами непрерывного процесса производства статистической информации являются разработки с применением новых методов коллективной работы и эффективной организации проектных работ. С ними тесно связана проблема электронного управления документооборотом. Её решение позволит наладить учет докладных записок, спецификаций к прикладным программным средствам (система документированного оформления прикладных программных продуктов, кодирование источников, метаданные), а также создать архив профессиональных знаний Госкомстата России.

Программное обеспечение коллективной работы отработано при осуществлении пилотных проектов. Они подсказали следующие технические решения:

При развитии различных направлений и способов представления и распространения статистических данных, необходимо акцентировать внимание на электронные способы распространения, включая Интернет, организацию электронного доступа в библиотеку Госкомстата России, публикацию электронных сборников и книг.

Использование Интернет-технологий в рамках ИВС направлено на:

Организация государственной статистики в Российской Федерации / Госкомстат России. - М., 2004.