wAdmin.ru » SQL Server

TSQL – просмотр статуса выполняемых бэкапов

Сергей Мариничев — Tue, 12 Jul 2011 07:01:24 +0000

Задался вопросом – как посмотреть процент выполнения текущего задания по резервному копированию?

Немного предыстории.

На одном из продуктивных Microsoft SQL 2008 серверов перестраивал задания по бэкапам, база слегка разжирела и стала терабайт с хвостом, запустил полный бэкап, долго созерцал статус выполнения т.е. ничего….

Сунувшись в интернет, в поисках ответа на вопрос о том как увидеть статус, в Microsoft Script Gallery нарыл простой рецепт.

SELECT command,

s.text,

start_time,

percent_complete,

CAST(((DATEDIFF(s,start_time,GetDate()))/3600) AS varchar) + ‘ hour(s), ‘

+ CAST((DATEDIFF(s,start_time,GetDate())%3600)/60 AS varchar) + ‘min, ‘

+ CAST((DATEDIFF(s,start_time,GetDate())%60) AS varchar) + ‘ sec’ AS running_time,

CAST((estimated_completion_time/3600000) AS varchar) + ‘ hour(s), ‘

+ CAST((estimated_completion_time %3600000)/60000 AS varchar) + ‘min, ‘

+ CAST((estimated_completion_time %60000)/1000 AS varchar) + ‘ sec’ AS est_time_to_go,

dateadd(second,estimated_completion_time/1000, getdate()) AS est_completion_time

FROM sys.dm_exec_requests r

CROSS APPLY sys.dm_exec_sql_text(r.sql_handle) s

WHERE r.command IN (‘RESTORE DATABASE’, ‘BACKUP DATABASE’, ‘RESTORE LOG’, ‘BACKUP LOG’)

Информация о бэкапах средствами TSQL

Сергей Мариничев — Mon, 27 Jun 2011 06:55:52 +0000

Сегодня понадобилось поднять историческую информацию о выполненных резервных копиях на одном из SQL серверов. Раскапывать логи в графической консоли было лень и я покопавшись в интернете нашел методику которая позволяет сильно сэкономить время и нервы.

Первым делом нужно собрать информацию по резервным копиям для всех баз данных. После отработки скрипта (выполняется он в контексте анализируемого сервера из SQL Management Studio) вы получите табличку с информацией о базе данных и временем последнего полного бэкапа.

SELECT db.name AS [DATABASE], max(backup_finish_date) AS [LastBackupDate]

FROM [master].[dbo].[sysdatabases] db LEFT OUTER JOIN [msdb].[dbo].[backupset] bs ON         bs.database_name = db.name AND bs.type = ‘D’

GROUP BY db.name

ORDER BY db.name

Для наглядности можно запросить более подробную информацию о том когда была полная копия и дифференциальная плюс количество дней прошедших с момента резервного копирования.

В случае если с момента последней полной копии прошло более 7 дней скрипт выведет предупреждение ’Possible Problem’ для полной копии и при двух днях для разностной.

SELECT s.name AS database_name, backup_type =

CASE

WHEN b.type = ‘D’ THEN ‘Full’

WHEN b.type = ‘I’ THEN ‘Diff’

END,

MAX(b.backup_start_date) AS last_backup_start_time,

DATEDIFF(d, MAX(b.backup_start_date), getdate()) AS days_since_last_backup, STATUS =

CASE

WHEN b.type = ‘D’ AND DATEDIFF(d, MAX(b.backup_start_date), getdate()) <= 7 THEN ‘OK’

WHEN b.type = ‘D’ AND DATEDIFF(d, MAX(b.backup_start_date), getdate()) > 7 THEN ‘Possible Problem’

WHEN b.type = ‘I’ AND DATEDIFF(d, MAX(b.backup_start_date), getdate()) <= 2 THEN ‘OK’

WHEN b.type = ‘I’ AND DATEDIFF(d, MAX(b.backup_start_date), getdate()) > 2 THEN ‘Possible Problem’

WHEN MAX(b.backup_start_date) IS NULL THEN ‘No Backup Exists’

END

FROM sys.DATABASES s LEFT JOIN msdb..backupset b

ON s.name = b.database_name

WHERE s.name <> ‘master’ AND s.name <> ‘model’ AND s.name <> ‘msdb’ AND s.name <> ‘tempdb’

GROUP BY s.name, b.type

ORDER BY s.name

Для получения подробной информации о размере бэкапов, местоположении файлов, времени выполнения и пр. используйте скрипт который представлен ниже.

SELECT msdb.dbo.backupmediafamily.physical_device_name AS FILE_LOCATION,

msdb.dbo.backupset.database_name AS DATABASE_NAME,

CAST(CAST(msdb.dbo.backupset.backup_size / 1000000 AS INT) AS VARCHAR(14))+ ‘ ‘ + ‘MB’ AS BACKUP_SIZE,

CAST(DATEDIFF(second, msdb.dbo.backupset.backup_start_date, msdb.dbo.backupset.backup_finish_date) AS VARCHAR(4)) + ‘ ‘+ ‘Seconds’ AS BACKUP_TIME_TAKEN,

msdb.dbo.backupset.backup_start_date AS BACKUP_DATE_TIME,

CASE msdb.dbo.backupset.[type]

WHEN ‘D’ THEN ‘Full’

WHEN ‘I’ THEN ‘Differential’

WHEN ‘L’ THEN ‘Transaction Log’

END AS BACKUP_TYPE

FROM

msdb.dbo.backupset

INNER JOIN msdb.dbo.backupmediafamily

ON msdb.dbo.backupset.media_set_id = msdb.dbo.backupmediafamily.media_set_id

Страшная история или SQL тут не виноват

Сергей Мариничев — Thu, 16 Jun 2011 17:02:48 +0000

В очередной раз столкнувшись с наплевательским отношением к безопасностью, вернее с полным пренебреженим элементарными правилами безопасности, решил написать небольшую заметку о том как не надо поступать при планировании своих приложений.

Нежданно негаданно, как снег на голову, нарисовался старый знакомый который попросил потестировать приложение установленное на MS SQL 2008, которое разворачивает у них контора «Х» (читать как Икс ).

Договорились о работах на выходных, приехал на объект, там уже была делегация по встрече с лицами полными предвкушения торжества…

Знали бы они что их ждет через 30 минут так бы не радовались

Кадр №1, условно назовем его «Разработчик», презрительно смерив меня взглядом неспешно проводил демонтстрацию продукта. Жертвой было приложение которое судя по пространным рассказам генерило какие то отчеты и довольно привлекательные диаграммы. Выдержав получасовую пытку мозга рассказами об эффективности данного приложения я прервав «разработчика» спросил о том что именно они хотят от меня в данном случае.
- Надо проверить насколько безопасно приложение. – ответил собеседник.
- Ну надо так надо… – выдохнул я и сел за предоставленный ноутбук.

Осмотр пациента

Не буду никого грузить подробностями того что мне довелось изучить, сразу перейду к заключению.

При беглом просмотре бинарника средствами FAR-а, никак не думал что натолкнусь на «школьную комбинацию» ID=sa и ;Password=xxxxxxx.
Элементарная проверка

xp_cmdshell‘whoami.exe’

GO

Показала что включена процедура xp_cmdshell и что пользователь sa является тем кем он должен быть.

Показал результат «экзаменаторам»
- Ну и что? – спросил «разработчик».
- Это ничего не дает. – добавил знакомый.
- Вы в этом уверены? Вы используете пользователя sa и процедуру cmd_shell?

Что было сказано дальше повергло меня в тихий шок.
- Мы используем его для мониторинга свободного места на дисках.
- ….
- Еще мы используем его для бэкапов.
- ….
- Что вы улыбаетесь? Что в этом такого?

Расправа

Пришлось показывать на примере.

Запуск первой команды совершенно спокойно создал пользователя под именем test1

xp_cmdshell‘net user test1 P@SSW0rd12345 /ADD’

GO

Запуск второй команды добавил его в локальную группу администраторов

xp_cmdshell ‘net localgroup Admininstrators test1 /ADD’

GO

Третьим шагом через RDP зашел на сервер, отключил антивирус, осмотрелся, нашел задание по бэкапу (странный скрипт) который стартовал, меня это ни сколько не удивило, из под доменного администратора.

Дальше процедуру создания нового доменного админа и запуск задания описывать не буду. Уверен что всем она прекрасно известна.

Итог

Фактически на «взлом» SQL сервера ушло не более 10 минут, на получение полномочий доменного администратора еще немного.

Знакомый опять пропал, думаю что надолго… Наверное пошел думать о жизни

К чему я все это?

Да, наверно к тому что безопасностью очень часто пренебрегают и не стараются следовать рекомендациям из Best Practice, и довольно часто не стесняясь (возможно и не подозревая что в этом может быть) используют повышенные привилегии.

PS все написанное выше предназначено для ознакомления и никак не для практики

Переименование SQL сервера

Сергей Мариничев — Sun, 27 Feb 2011 13:49:16 +0000

Задача – переименование SQL сервера.
Решение:
Шаг 1 – переименование хоста.
Методику описывать не буду т.к. по ней вопросов быть не должно.
Шаг 2 – выполнение процедуры для изменения настроек SQL.
Выполните процедуры описанные ниже.

sp_dropserver ‘OLD_NAME’

GO

sp_addserver "NEW_NAME", LOCAL

GO

Производим перезапуск служб SQL.

Для переименование SQL-инстанций выполните следующую процедуру.

sp_dropserver ‘OLD_NAME\instancename’

GO

sp_addserver ‘NEW_NAME\instancename’, LOCAL

GO

Шаг 3 – проверка результатов.
Для проверки правильности выполненных операций требуется провести еще одну процедуру.

SELECT @@SERVERNAME AS ‘Server Name’

Если вы видите в поле ‘Server Name’ то что вы задали то процедура прошла успешно.

Вы можете оставить комментарий ниже или обсудить статью в форуме.

Получение всех пользователей c ролью sysadmin с SQL

Сергей Мариничев — Mon, 14 Feb 2011 11:33:44 +0000

Навожу порядок на своих SQL-серверах и первое что бросается в глаза это обилие излишних полномочий.

Безусловно оно только вредит пример чего можно найти в статье о том как не надо создавать приложения.

Теперь к делу.

На одном из серверов нашелся пользователь test ну с очень большими и излишними привелегиями. При разборе полетов выяснилось что его родителями являются разработчики которые «что то там тестировали».

После небольшого изумления принялся разыскивать остальных «залетчиков».
Наваял файлик servers.txt со списком нужных SQL-серверов и порывшись в архивах сообразил вот такой скриптик.

# получаем список серверов из заранее приготовленного файла
$servers=get-content servers.txt
foreach ($server in $servers) {

# создаем соединение

$SqlConnection = New-Object System.Data.SqlClient.SqlConnection

# задаем строку соединения

$SqlConnection.ConnectionString = "Server=$($server);Database=master;Integrated Security=True"

$SqlCmd = New-Object System.Data.SqlClient.SqlCommand
# сам запрос

$SqlCmd.CommandText = "SELECT DISTINCT syslogins.loginname, syslogins.dbname,

@@SERVERNAME AS ‘ServerName’

FROM sysprotects, syslogins

WHERE sysadmin = 1"
$SqlCmd.Connection = $SqlConnection
$SqlAdapter = New-Object System.Data.SqlClient.SqlDataAdapter

$SqlAdapter.SelectCommand = $SqlCmd
$DataSet = New-Object System.Data.DataSet
$SqlAdapter.Fill($DataSet)
$SqlConnection.Close()

$DataSet.Tables[0]

}

Поставленная задача решена. Можно спать спокойно

SQL Reporting Services – подготовка IIS

Сергей Мариничев — Fri, 28 Jan 2011 07:22:33 +0000

Перед установкой SQL Reporting Services необходимо поставить компоненты IIS-а

Добавляем роль сервера Web Server (IIS) со следующими настройками
Static Content
Default Document
Directory Browsing
HTTP Errors
HTTP Redirection
в ветке Application Developmentвыбираем ASP.NET
в ветке Security выбираем Windows Authentication
в ветке Management Tools, выбираем IIS 6 Management Capability и в нем вот это
- IIS Metabase Compatibility
- IIS 6 WMI Compatibility
- IIS 6 Scripting Tools
- IIS 6 Management Console

Все что нужно выбрано, нажимаем Install

Дожидаемся окончания установки и переходим непосредственно к установке SQL.

После старта установки, в случае если вы правильно поставили все компоненты IIS, на этапе проверки вылезет хорошая картинка

Жмем «Next»

Получение ключа SQL Server

Сергей Мариничев — Mon, 29 Nov 2010 08:00:28 +0000

Я уже писал ранее о том как получить ключ продукта для Windows. Покопавшись в реестре и в документации на Microsoft SQL Server 2008 набрел на ветку реестра:

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server\100\Tools\Setup

Где нашлось значение DigitalProductId

через некоторое время получился вот такой скрипт.

function Get-SQLKey {
param ($targets = ".")
$hklm = 2147483650

$regPath = "SOFTWARE\Microsoft\Microsoft SQL Server\100\Tools\Setup"

$regVal1 = "DigitalProductId"

$regVal2 = "PatchLevel"

$regVal3 = "Edition"
Foreach ($target in $targets) {

$productKey = $null

$osData = $null

$wmi = [WMIClass]"\\$target\root\default:stdRegProv"

$data = $wmi.GetBinaryValue($hklm,$regPath,$regVal1)

[string]$version = $wmi.GetstringValue($hklm,$regPath,$regVal2).svalue

[string]$edition = $wmi.GetstringValue($hklm,$regPath,$regVal3).svalue

$binArray = ($data.uValue)[52..66]

$charsArray = "B","C","D","F","G","H","J","K","M","P","Q","R",
"T","V","W","X","Y","2","3","4","6","7","8","9"
For ($i = 24; $i -ge 0; $i–) {

$k = 0

For ($j = 14; $j -ge 0; $j–) {

$k = $k * 256 -bxor $binArray[$j]

$binArray[$j] = [math]::truncate($k / 24)

$k = $k % 24

}
$productKey = $charsArray[$k] + $productKey

If (($i % 5 -eq 0) -and ($i -ne 0)) {

$productKey = "-" + $productKey

}

}
$osData = Get-WmiObject Win32_OperatingSystem -computer $target

$obj = New-Object Object

$obj | Add-Member Noteproperty Computer -value $target

$obj | Add-Member Noteproperty OSCaption -value $osData.Caption

$obj | Add-Member Noteproperty OSArch -value $osData.OSArchitecture

$obj | Add-Member Noteproperty SQLver -value $version

$obj | Add-Member Noteproperty SQLedition -value $edition

$obj | Add-Member Noteproperty ProductKey -value $productkey

$obj

}

}

Вызов скрипта для текущего сервера

Get-SQLKey

для удаленного сервера или нескольких серверов

Get-SQLKey "SQL-01", "SQL-02"

Если у вас есть необходимость получить значение для Microsoft SQL 2000 то нужная ветка реестра находится в другом месте.

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server\80\Registration

Ключи DigitalProductID и ProductID.

Сборка данных о бэкапах старше Х дней

Сергей Мариничев — Tue, 06 Jul 2010 06:05:35 +0000

При аудите серверов БД возникла необходимость проверить состояние бэкапов примерно на сотне серверов Microsoft SQL. Почесав затылок от перспективы «с пользой» провести массу времени, предпринял попытку вспомнить инструментарий который позволяет достичь поставленной задачи.

По первым линкам найденным в интернете выяснилось что некоторые продукты стоят денег, некоторые дают не ту информацию, некоторые дают совсем не ту информацию.

Выдохнул, включил в процесс голову и в процессе поисков наткнулся на SQL-скрипт для достижения нужного результата. Примерно за пять минут дописал к нему обертку из powershell-а и вот что получилось.

# get-backup-statistics.ps1
# получаем список серверов из заранее приготовленного файла

$servers = get-content servers.txt
foreach ($server in $servers) {

Write-Output "======"

Write-Output $server

# создаем соединение

$SqlConnection = New-Object System.Data.SqlClient.SqlConnection

# задаем строку соединения

$SqlConnection.ConnectionString = "Server=$($server);Database=master;Integrated Security=True"

$SqlCmd = New-Object System.Data.SqlClient.SqlCommand
# сам запрос

$SqlCmd.CommandText = "SELECT database_name = sd.name, backup_finish_date, type

FROM master.dbo.sysdatabases sd LEFT OUTER JOIN (

SELECT bs.database_name, backup_finish_date, type = case type WHEN ‘D’ THEN ‘Database’

WHEN ‘I’ THEN ‘Database Differential’

WHEN ‘L’ THEN ‘Log’

WHEN ‘F’ THEN ‘File or Filegroup’

end, backup_size

FROM msdb.dbo.backupset bs, (

SELECT database_name,max_backup_finish_date = max(backup_finish_date)

FROM msdb.dbo.backupset group by database_name) bs1

WHERE bs.database_name = bs1.database_name

AND bs.backup_finish_date = bs1.max_backup_finish_date ) bs3

ON bs3.database_name = sd.name

WHERE sd.name NOT IN (‘tempdb’)

AND (backup_finish_date < getdate() -7 or backup_finish_date IS NULL

)

ORDER BY sd.name ASC, backup_finish_date DESC"
$SqlCmd.Connection = $SqlConnection
$SqlAdapter = New-Object System.Data.SqlClient.SqlDataAdapter

$SqlAdapter.SelectCommand = $SqlCmd
$DataSet = New-Object System.Data.DataSet
$SqlAdapter.Fill($DataSet)
$SqlConnection.Close()

$DataSet.Tables[0]

}

В приведенном примере из файла servers.txt берется список серверов БД и к ним выполняется запрос на получения списка баз данных для которых не выполнялись бэкапы более семи дней.

Парсинг журналов событий и сохранение результатов в БД

Сергей Мариничев — Mon, 12 Apr 2010 13:46:11 +0000

Очередная микро-заметка из разряда себе на память и авось кому пригодится.

Продолжая разговор о парсинге событий хочется описать методику сохранения событий из системных журналов в таблицу на MS SQL сервере.

Предположим что вам необходимо отслеживать события из журнала приложений и архивировать их в БД для последующего анализа. Изначально считаем что у вас есть предварительно настроенный SQL сервер и установлен powershell на сервере где запускается скрипт.

В приведенном ниже скрипте берутся события из журнала Application за последний час $1HourAgo = [DateTime]::Now.AddHours(-1) и из источника if ($source -like «MSExchangeIS*»). Далее данные помещаются в таблицу ExchangeAuditLog.

function parseLog
{
param(
[string]$SQLSERVER,
[string]$Database
)
$SqlConnection=New-Object System.Data.SqlClient.SqlConnection
$SqlConnection.ConnectionString ="Server=$SQLSERVER;Database=$Database;Integrated Security=True"

$SqlCmd=New-Object System.Data.SqlClient.SqlCommand
$SqlCmd.Connection =$SqlConnection
$SqlAdapter=New-Object System.Data.SqlClient.SqlDataAdapter
  $1HourAgo = [DateTime]::Now.AddHours(-1)

  $strings = Get-eventlog application | where {$1hourago -le $_.timewritten}

  

  foreach ($string in $strings){

    $source     = $string.source
    if ($source -like "MSExchangeIS*") {

      $source     = $string.source

      $midx       = $string.index

      $type       = $string.type

      $eventid    = $string.eventid

      $time       = $string.timegenerated

      $username   = $string.username
      $messageout = $string.message

      $message = $messageout -replace "’", " "

      $message = $message -replace "  ", ""
      $SqlCmd.CommandText = "insert into ExchangeAuditLog (midx, time, type, source, eventid, message, username) values (‘$midx’, ‘$time’, ‘$type’, ‘$source’, ‘$eventid’, ‘$message’, ‘$username’)"

      $SqlAdapter.SelectCommand = $SqlCmd

      $DataSet = New-Object System.Data.DataSet

      $SqlAdapter.Fill($DataSet)

    }

  }

  $SqlConnection.Close()

}
parseLog "SQL-01" "auditDb"

Вместо послесловия.
Скрипт был написан под задачу мониторинга событий на Exchange 2003 и успешно выполнив ее был отключен.

Powershell – Правка количества CAL на SQL 2000

Сергей Мариничев — Wed, 13 Jan 2010 14:35:09 +0000

Представляю вашему вниманию простой скрипт который устанавливает необходимое количество CAL на MS SQL Server 2000.

Для его работы необходимо сформировать файл со списком серверов.

server01
server02
server03

В переменной $cal укажите необходимую цифру CAL которую вам требуется задать.

$servers=Get-Content"servers.txt"
$cal=50
foreach ($server in $servers) {

Write-Host "Working with Server $server"

$MachineName = $server

$reg = [Microsoft.Win32.RegistryKey]::OpenRemoteBaseKey(‘LocalMachine’, $MachineName)

$regKey= $reg.OpenSubKey("SOFTWARE\\Microsoft\\Microsoft SQL Server\\80\\MSSQLLicenseInfo\\MSSQL8.00", $true )

$val1 = $regkey.GetValue("ConcurrentLimit")

Write-Host "Current value = " $val1

if ($val1 -ne $cal) {

Write-Host "Set ConcurrentLimit to $cal"

$regkey.SetValue("ConcurrentLimit", $cal)

$regKey.flush()

$regKey.Close()

} else {

Write-Host "ConcurrentLimit = " $val1

}

}