wAdmin.ru » Windows Server 2003 R2

Получение отчета по фрагментации дисков

Сергей Мариничев — Wed, 20 Oct 2010 08:22:01 +0000

Лень, как известно – двигатель прогресса и если ее использовать грамотно то можно получать вполне неплохие результаты.

«Внезапно» понадобилось посмотреть отчет по уровню фрагментации на всех серверах.

- Ужас! Что же делать…. – воскликните вы. – У нас 100, 200 или 500 серверов!
- Ничего ужасного. Powershell в помощь.
- Но ничего же неясно.
- Почему? есть Ctrl+C и CTRL+V

Собственно вот и сам скрипт.

Источником имен традиционно является файл servers.txt, а файлом отчета result.txt.

# wmi_DefragAnalysis.ps1
# Получаем список серверов из файла servers.txt

$servers = Get-Content "servers.txt"

foreach ($server in $servers) {
# Выполняем запрос к удаленному серверу

$v=(gwmi win32_volume -computer $server)

$srv = "Server name – $($server)"

# выводим строку с именем сервера на экран

Write-Host $srv

# и добавляем в отчет

Add-Content "result.txt" $srv
# основная часть в которой получаем непосредственно данные

foreach ($volume in $v){

$frag=($volume.defraganalysis().defraganalysis).FilePercentFragmentation

# если уровень фрагментации выше 10 процентов то

if ($frag -gt "10") {

$string = "Drive $(($volume.DriveLetter)) – $($frag) % fragmented."

# выводим информацию на экран

Write-Host $string

# пишем в отчет

Add-Content "result.txt" $string

# при необходимости запускаем процесс дефрагментации

#Write-Host "Starting remote defrag…"

#$volume.defrag($true)

} else {

# можно для красоты раскомментировать строки ниже

#$string = "Drive $(($volume.DriveLetter)) is not fragmented"

#Write-Host $string

#Add-Content "result.txt" $string

}

}

}

PS кое что закомментировано, при желании снимаете решетку и можно использовать.

Скачать – Скачать -

Проблемы DFSR – часть 3 (event 2104)

Сергей Мариничев — Sun, 28 Feb 2010 13:58:06 +0000

Продолжу рассказ о службе DFSR. Напомню что в первой части описывались причины возникновения ошибки 4502, во второй обсуждались вопросы планирования совместного использования File Screening-а и методик решения проблем связанных с некорректными его настройками.

Сегодня хочу описать довольно редкую проблему которая возникает при некорректных настройках антивирусного по и пр.

Описание проблемы:
Репликация папок не работает, в журнале «DFS Replication» вот такая ошибка

DFSR 2104

The DFS Replication service failed to recover from an internal
database error on volume D:. Replication has been stopped for all
replicated folders on this volume.

Additional Information:
Error: 9203 (The database is corrupt (-501))
Volume: E153F5D6-05B0-11DC-9CA3-001B7802B820
Database: D:\System Volume Information\DFSR
DFSR 2102
The DFS Replication service encountered an internal database error on
volume S:. Replication has been stopped on this volume while the
database is recreated. Replication will resume on this volume after
this operation is completed.

Additional Information:
Error: 9014 (Database failure (-501))
Volume: E153F5D6-05B0-11DC-9CA3-001B7802B820
Database: D:\System Volume Information\DFSR

через некоторое время после старта сервиса он останавливается.

В качестве предварительной подготовки необходимо согласно методике описанной ранее необходимо увеличить детализацию журналирования.

Действия:
1. Остановка службы

net stop dfsr

2. Перенос или удаление всех debug-логов Dfsr#####.log из папки %windir%\debug.
3. Запуск службы

net start dfsr

4. Изучение полученных логов
При изучении debug лога находятся следующие строки.

20100219 15:16:53.602 11208 EVNT   551 EventLog::Report         eventId:2104 parameter4:Access was denied to the database
20100219 15:16:53.602 11208 EVNT   551 EventLog::Report         eventId:2104 parameter5:-1032
20100219 15:16:53.602 11208 EVNT   551 EventLog::Report         eventId:2104 parameter6:D:\System Volume Information\DFSR
20100219 15:16:53.602 11208 VLMG   645 [ERROR] VolumeManager::Initialize Failed to initialize volume. volId:\\.\D: Error:
+             [Error:9014(0x2336) LdbManager::Initialize ldb.cpp:950 11208 C6 Database failure]
+             [Error:9201(0x23f1) PdbManager::Initialize pdb.cpp:5273 11208 C5 Access was denied to the database]

Данное сообщение означает что служба DFSR не смогла получить доступ к служебной базе данных.

Возможные причины:
База недоступна из-за повреждения диска или логической ошибки.
База недоступна из за блокировки сторонним программным обеспечением, например антивирусом.

Действия:
Перезагрузка. Как правило в пятидесяти процентах случае это решает проблему.
Произвести проверку настроек антивируса согласно статье базы знаний Microsoft.
Восстановление базы DFSR. Крайнее средство на которое можно идти только после того как другие методики исчерпаны.

На папку SystemVolumeInformation проблемного тома, в данном случае D:, назначаем дополнительные разрешения для администратора – полный доступ.
Из вышеуказанной папки удаляем подпапку DFSR.
Запускаем службу DFSR. После старта службы папка сформируется заново и служба начнет синхронизацию с партнером. В логах появляется сообщение

Source : DFSR
Category : None
Event ID : 4102
Type : Warning
Description :

The DFS Replication service initialized the replicated folder at local path D:\dfs\Dir and is waiting to perform initial replication. The replicated folder will remain in this state until it has received replicated data, directly or indirectly, from the designated primary member.

Additional Information: Replicated Folder Name: IS Replicated Folder ID: XXX Replication Group Name: domain.local\dfs\dir Replication Group ID: XXX Member ID: XXX

Которое означает что «первоначальная» репликация начата. Время завершение зависит от многих факторов таких как скорость соединения или объем хранимых файлов.

DFSR – Формат файлов журналов.

Сергей Мариничев — Fri, 26 Feb 2010 08:05:43 +0000

Отладочный журнал DFSR (Debug Log) состоит из частей:

Заголовок (Header)
Сообщение (Single-line message)
Вложенное сообщение (Nested message)

Заголовок (Header)

Как правило начинается с символа «*», для примера:

* FRS Log Sequence:15 Index:100 Computer:LAB-DC01 TimeZone:Russian Standard Time (GMT+-3:00) Build:[Feb 16 2007 20:14:20 built by: srv03_sp2_rtm] Enterprise=0
* Configuration logLevel:4 maxEntryCount:200000 maxFileCount:100 logPath:\\.\D:\Logs\DFSR-debug\

В заголовке используются следующие поля:

FRS Log Sequence & Index – Последовательность и индекс
Computer – имя сервера.
TimeZone – временная зона.
Build – версия сборки.
Configuration loglevel – уровень детализации журнала.
Maxentrycount – количество хранимых в журнале сообщений.
Maxfilecount – максимальное количество хранимых файлов журналов.
Logpath – путь к папке где хранятся журналы.

Сообщение (Single-line message)

Single-line message фактически является описанием всех действий, детализация которых зависит от установленного параметра LogLevel, об установке значения я уже писал вот в этой статье.
Single-line message всегда начинается со строки даты-времени в формате YYYYMMDD HH:MM:SS:MS.

Пример сообщения:

20100225 16:45:09.563  724 MRSH  2957 MarshalContext::Initialize Create file:[lang-1034.dll-{AF7C15F9-60F0-4AE8-95D0-A5860F1BC208}-v5777330] with attributes:0x20

Сообщение имеет следующие поля:

Date-Time – Время в формате YYYYMMDD HH:MM:SS:MS. В данном примере – 20100225 16:45:09.563
Thread – описание «нити» в пределах DFSR.EXE. В данном примере – 724
Module ID – ID модуля DFSR. В данном примере – MRSH
Line – Строка из исходного кода. В данном примере – 2957
Class – Запускаемый класс. В данном примере – MarshalContext
Method – Метод или функция запущенные в пределах класса. В данном примере – Initialize Create file
Data – Детальная информация о действии. Детализация зависит от уровня журналирования. В данном примере – [lang-1034.dll-{AF7C15F9-60F0-4AE8-95D0-A5860F1BC208}-v5777330] with attributes:0×20

Вложенное сообщение (Nested message)

Всегда идет после Single-line message и детализирует его.
Всегда начинается со знака «+»

+     TOTAL
+     Compression Ratio            43 %
+     Target Uncompress Size            426628
+     Target Compress Size              246079
+     Bytes Received                      5021 Signatures:       3336 Data:       1685
+     Signature Bytes Received            3336           3336
+     Number of remote calls                 3 Signatures:          1 Needs:          1 Data:          1
+     SEED
+     Rdc Need Size                     417124        417124
+     Xpress Blocks                         52            52
+     Uncompressed Xpress Blocks            52            52
+     Blocks copied to target                0             0
+     SOURCE
+     Rdc Need Size                       9504           0
+     Xpress Blocks                          2           0
+     Uncompressed Xpress Blocks             1           0
+     Blocks copied to target                1           0

Поля common GUID

Каждая группа репликации, каждая папка имеет уникальные глобальные идентификаторы (GUID-ы) которые используются в работе DFSR при определении топологии репликации и пр.

Как пример можно привести кусок лога где указаны GUID-ы.

20100226 10:27:41.987 2764 SRTR   329 SERVER_EstablishConnection Succeeded on connId:{24098152-99D7-4E9A-AF74-2C5133308DDD} replicaSetId:{663CD41D-A76D-40F7-BB5B-5B7629027F3D} partnerAddress:LAB-DC02.EXAMPLE.COM
20100226 10:27:41.987 2764 OUTC  1876 OutConnection::EstablishSession Replacing content set. csId:{8E6CA826-E8B3-4600-80B1-16D73658D9A6} connId:{24098152-99D7-4E9A-AF74-2C5133308DDD} rgName:LABOffice2

ReplicaSetId – GUID группы репликации. В данном примере – {663CD41D-A76D-40F7-BB5B-5B7629027F3D}
partnerAddress – имя партнера по репликации. В данном примере – LAB-DC02.EXAMPLE.COM
CSID – GUID папки. В данном примере – {8E6CA826-E8B3-4600-80B1-16D73658D9A6}
ConnID – GUID соединения. В данном примере – {24098152-99D7-4E9A-AF74-2C5133308DDD}
rgName – имя группы репликации. В данном примере – LABOffice2

DFSR – Журналы. Общая информация.

Сергей Мариничев — Tue, 23 Feb 2010 09:17:56 +0000

По старой, доброй традиции начну описание DFSR отсюда и до обеда.

DFSR в своих логах немногословна и порою невозможно понять причины поведения этой службы, иногда останавливается репликация, иногда пропадают файлы. В результате это превращается в очередную головную боль для нас, администраторов.

Предлагаю для всех небольшую «таблетку аспирина» т.к. сегодня речь пойдет об отладочных (debug) журналах DFSR.

Включение отладки
По умолчанию журналирование включено, но при необходимости оно отключается.

Настройка: Enable Debug Logging
По умолчанию: TRUE
Значения: TRUE или FALSE

wmic /namespace:\\root\microsoftdfs path dfsrmachineconfig set enabledebuglog=true

Местоположение журналов
Традиционное место хранения отладочных журналов на мой взгляд не совсем правильно и поэтому при отладке, или при необходимости, рекомендуется его перемещать.

Настройка: Debug Log File Path
По умолчанию: %windir%\debug

Перемещаем отладочные журналы в папку d:\DfsrDebugLogs.
Внимание. Пака должна быть создана вручную, если её не создать то после рестарта сервис будет использовать стандартную для себя %windir%\debug

wmic /namespace:\\root\microsoftdfs path dfsrmachineconfig set debuglogfilepath=»d:\DfsrDebugLogs»

Уровни журналирования.
DFSR использует циркулярное журналирование файлов журналов в папке %systemroot%\debug и автоматически сжимает журналы в GZ-формат.

На Level 0 (LogLevelNone) ничего не пишется.
На Level 1 (LogLevelAlways) записываются только информационные сообщения.
На Level 2 (LogLevelError) записываются только ошибки и информация из предыдущих уровней.
На Level 3 (LogLevelWarn) записываются предупреждения и информация из предыдущих уровней.
На Level 4 (LogLevelInfo) записывается вся информация и информация из предыдущих уровней.
На Level 5 (LogLevelTrace) максимальный уровень журналирования.

По умолчанию используется не более 50 Мб дискового пространства и уровень журналирования 4.

Настройка: Debug Log Severity
По умолчанию: 4
Значения: 1-5

Для изменения уровня журналирование можно воспользоваться утилитой WMIC.EXE, в данном примере мы выставляем максимально доступный уровень.

wmic /namespace:\\root\microsoftdfs path dfsrmachineconfig set debuglogseverity=5

Количество хранимых в журнале сообщений.
Настройка: Debug Log Messages
По умолчанию: 200000
Значения: 1000 до 4294967295 (FFFFFFFF)

Поднимем количество сохраняемых сообщений до 500000.

wmic /namespace:\\root\microsoftdfs path dfsrmachineconfig set maxdebuglogmessages=500000

Количество хранимых сообщений
Теперь определим сколько файлов журналов нам требуется.

Настройка: Debug Log Files
По умолчанию: 100
Значения: от 1 до 10000

Увеличим количество хранимых журналов до 150

wmic /namespace:\\root\microsoftdfs path dfsrmachineconfig set maxdebuglogfiles=150

Команда WMIC.EXE модификирцет файл конфигурации DfsrMachineConfig.XML который находится в папке %systemdrive%\system volume information\dfsr\config. В примере приведенном ниже установлен максимальный уровень журналирования с ведением более подробных журналов.

true
D:\DFSRLogs\debug
200
5
500000

Вместо послесловия.
На нагруженных файловых серверах не стоит использовать уровень журналирования выше чем второй т.к. логи без необходимости вы все равно не читаете.
При возникновении проблем желательно увеличивать уровень журналирования до пятого и заодно увеличивать количество записываемых в лог сообщений.

Проблемы DFSR – часть 2

Сергей Мариничев — Fri, 19 Feb 2010 10:38:12 +0000

Продолжим расмотрение проблем возникающих при использовании служюы DFSR.
В прошлый раз рассматривалась ошибка 4502 и причины ее возникновения. Сегодня рассмотрим вариант совместного использования DSFR и службы FSRM (File Server Resource Manager).

Описание проблемы:
Есть две активных DFS-реплики.
Репликация успешно проходит с первой на вторую, но назад не идет.

Действия:
Приступим к анализу debug логов которые лежат в папке %windir%\debug.
В файлах \Dfsr#####.log на сервере откуда НЕ реплицируются данные присутствует такой фрагмент.

+ [Error:9027(0x2343) DownstreamTransport::EstablishSession downstreamtransport.cpp:3664 3936 C586 A failure was reported by the remote partner]
+ [Error:9051(0x235b) DownstreamTransport::EstablishSession downstreamtransport.cpp:3664 3936 C585 The content set is not ready]

Означает это примерно следующее – с удаленного сервера было получено сообщение о том что он не готов произвести репликацию из-за возникшей ошибки и через некоторое время повторит попытку.

Причина подобного отказа кроется в debug-логах на downstream-сервере.

Идем на второй сервер и в логах видим что то подобное.

file.exe access denied.

Решение:

Временно выключить File Screening на реплике откуда не реплицируются файлы.
Перезапустить DFSR
Если это исправляет ситуацию нужно смотреть что написано в конфигурации FSRM-а.
Удалить все файлы которые являются причиной блокировки.

Рекомендации:
Перед принятием решения использования File Server Resource Manager на DFS-реплике необходимо удалить все файлы на которые планируется наложить ограничение, например все исполняемые файлы.

Произвести это проще всего powershell-ом

get-childitem D:\Files\ -include *.exe -recurse -force | Remove-Item

Если необходимо для начала выяснить что именно будет удалено то в строку добавьте -WhatIf

get-childitem D:\Files\ -include *.exe  -recurse -force | Remove-Item - WhatIf

Проблемы DFSR – часть 1 (event 4502)

Сергей Мариничев — Fri, 12 Feb 2010 14:26:01 +0000

С развитием DFS структуру на предприятии поневоле становишься заложником службы DFSR, и без изучения её «особенностей» есть риск провести много времени в решении проблем ошибок репликации или пропадания файлов.

Традиционная методика анализа у многих администраторов к сожалению такова – останавливаем службу, чистим логи, запускаем службу… И ничего не находя идем доставать с полки бубен.
Коллеги! логи не резиновые но довольно большие и чистить их каждые пять минут не обязательно, DFSR не многословна и журналы её довольно часто помогают понять что именно и в какой момент времени произошло.

Речь сегодня пойдет о самой опасной ошибке, после появления которой репликация останавливается.

Три причины возникновения ошибки DFSR eventid:4502:

Вариант №1
Статья с описанием находится по адресу.

Проблема наблюдается при ошибках конфигурирования квот.
Например, на папку DfsrPrivate действует квота которая препятствует записи в staging folder и как следствие DFSR служба останавливает репликацию.

Диагностика и устранение неполадок:

Останавливаем службу DFSR.
Удаляем папку Staging.
Запускаем службу DFSR.
При повторении устанавливаем хот-фикс из ссылки выше.

Вариант №2
Статья с описанием находится по адресу.

При наличии одного или нескольких upstream серверов и нескольких downstream серверов и созданных на них средствами File Server Resource Management hard квот, при условии того что размер квоты на исходном сервере больше чем на целевом или вообще отключен наблюдаются следующие симптомы:

На сервере-источнике файл помещается в папку.
На целевом сервере при достижении квоты репликация останавливается.

Рекомендации:

Перед установкой квоты проверить не превышает ли объем папки размер квоты.
Применять hard квоты осторожно.
На папку DfsrPrivate квоту лучше не ставить вообще.

Диагностика:

Проверить размеры установленных квот на всех серверах.
При наличии проблемы отключить квотирование на папке.
Перезапустить службу DFSR.
В случае повторения установить хот-фикс хот-фикс из ссылки выше.

Вариант №3
Статья с описанием находится по адресу.

Самый интересный вариант. Проблема звучит примерно так – фильтр драйвера Quota.sys неверно считает использованное пространство и учитывает место занятое теневыми копиями.
Результатом является следующий эффект.

В логе имеется ошибка 4502
В проводнике выдается что размер папки составляет xx Гб, а квота которая составляет ххх Гб исчерпана.

Диагностика и устранение неполадок:

Удаляем теневые копии
Перезапускаем сервис DFSr
При повторении проблемы ставим хот-фикс хот-фикс из ссылки выше.

Послесловие:

Не стоит забывать что использование FSRM-а совместно со службой DFSR накладывает на DFS-реплику некоторые ограничения.

Планируйте ограничения и дизайн файловых ресурсов так что бы к скрытой папке DfsrPrivate не применялись никакие фильтры.
Перед включением блокировки ни одна из реплицируемых папок не должна содержать блокированных файлов.
Не лишним будет заскочить на страничку DFS FAQ
И заодно ознакомится с рекомендациями по дизайну