4.收集Windows数据
一、windows中收集硬件信息
为了收集运行Windows操作系统的服务器的硬件信息，我们需要编写一个专门的脚本。
在Pycharm的Client目录下的plugins包中，新建一个collect_windows_info.py文件，写入下面的代码：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import platform
import win32com
import wmi
"""
本模块基于windows操作系统，依赖wmi和win32com库，需要提前使用pip进行安装，
pip install wmi
pip install pypiwin32
或者下载安装包手动安装。
"""
class Win32Info(object):
def __init__(self):
# 固定用法，更多内容请参考模块说明
self.wmi_obj = wmi.WMI()
self.wmi_service_obj = win32com.client.Dispatch("WbemScripting.SWbemLocator")
self.wmi_service_connector = self.wmi_service_obj.ConnectServer(".", "root\cimv2")
def collect(self):
data = {
'os_type': platform.system(),
'os_release': "%s %s %s " % (platform.release(), platform.architecture()[0], platform.version()),
'os_distribution': 'Microsoft',
'asset_type': 'server'
}
# 分别获取各种硬件信息
data.update(self.get_cpu_info())
data.update(self.get_ram_info())
data.update(self.get_motherboard_info())
data.update(self.get_disk_info())
data.update(self.get_nic_info())
# 最后返回一个数据字典
return data
def get_cpu_info(self):
"""
获取CPU的相关数据，这里只采集了三个数据，实际有更多，请自行选择需要的数据
:return:
"""
data = {}
cpu_lists = self.wmi_obj.Win32_Processor()
cpu_core_count = 0
for cpu in cpu_lists:
cpu_core_count += cpu.NumberOfCores
cpu_model = cpu_lists[0].Name # CPU型号（所有的CPU型号都是一样的）
data["cpu_count"] = len(cpu_lists) # CPU个数
data["cpu_model"] = cpu_model
data["cpu_core_count"] = cpu_core_count # CPU总的核数
return data
def get_ram_info(self):
"""
收集内存信息
:return:
"""
data = []
# 这个模块用SQL语言获取数据
ram_collections = self.wmi_service_connector.ExecQuery("Select * from Win32_PhysicalMemory")
for ram in ram_collections: # 主机中存在很多根内存，要循环所有的内存数据
ram_size = int(int(ram.Capacity) / (1024**3)) # 转换内存单位为GB
item_data = {
"slot": ram.DeviceLocator.strip(),
"capacity": ram_size,
"model": ram.Caption,
"manufacturer": ram.Manufacturer,
"sn": ram. SerialNumber,
}
data.append(item_data) # 将每条内存的信息，添加到一个列表里
return {"ram": data} # 再对data列表封装一层，返回一个字典，方便上级方法的调用
def get_motherboard_info(self):
"""
获取主板信息
:return:
"""
computer_info = self.wmi_obj.Win32_ComputerSystem()[0]
system_info = self.wmi_obj.Win32_OperatingSystem()[0]
data = {}
data['manufacturer'] = computer_info.Manufacturer
data['model'] = computer_info.Model
data['wake_up_type'] = computer_info.WakeUpType
data['sn'] = system_info.SerialNumber
return data
def get_disk_info(self):
"""
硬盘信息
:return:
"""
data = []
for disk in self.wmi_obj.Win32_DiskDrive(): # 每块硬盘都要获取相应信息
disk_data = {}
interface_choices = ["SAS", "SCSI", "SATA", "SSD"]
for interface in interface_choices:
if interface in disk.Model:
disk_data['interface_type'] = interface
break
else:
disk_data['interface_type'] = 'unknown'
disk_data['slot'] = disk.Index
disk_data['sn'] = disk.SerialNumber
disk_data['model'] = disk.Model
disk_data['manufacturer'] = disk.Manufacturer
disk_data['capacity'] = int(int(disk.Size) / (1024**3))
data.append(disk_data)
return {'physical_disk_driver': data}
def get_nic_info(self):
"""
网卡信息
:return:
"""
data = []
for nic in self.wmi_obj.Win32_NetworkAdapterConfiguration():
if nic.MACAddress is not None:
nic_data = {}
nic_data['mac'] = nic.MACAddress
nic_data['model'] = nic.Caption
nic_data['name'] = nic.Index
if nic.IPAddress is not None:
nic_data['ip_address'] = nic.IPAddress[0]
nic_data['net_mask'] = nic.IPSubnet
else:
nic_data['ip_address'] = ''
nic_data['net_mask'] = ''
data.append(nic_data)
return {'nic': data}
if __name__ == "__main__":
# 测试代码
data = Win32Info().collect()
for key in data:
print(key, ":", data[key])windows中没有方便的命令可以获取硬件信息，但是有额外的模块可以帮助我们实现目的，这个模块叫做wmi。可以使用pip install wmi的方式安装，当前版本是1.4.9。但是wmi安装后，import wmi依然会出错，因为它依赖一个叫做win32com的模块。
我们依然可以通过pip install pypiwin32来安装win32com模块，但是不幸的是，据反映，有些机器无法通过pip成功安装。所以，这里我在github中提供了一个手动安装包pywin32-220.win-amd64-py3.5(配合wmi模块，获取主机信息的模块).exe，方便大家。(如果版本不兼容，也可以自行在网上搜索。)
依赖包的问题解决后，我们来看一下sys_info.py脚本的代码。
- 类Win32Info封装了具体数据收集逻辑
- 其中对Win32模块的调用方式是固定的，有兴趣的可以自行学习这个模块的官方文档
- 核心在于collect方法，它汇总了其它方法收集的信息！
- collect方法首先通过platform模块获取平台的信息，然后保存到一个data字典中。
- 分别调用其它方法，获取CPU、RAM、主板、硬盘和网卡的信息。
- 每一类数据收集完成后都会作为一个新的字典，update到开始的data字典中，最终形成完整的信息字典。
- 最后在脚本末尾有一个测试入口。
整个脚本的代码其实很简单，我们只要将Win32的方法调用当作透明的空气，剩下的不过就是将获得的数据，按照我们指定的格式打包成一个数据字典。
强调：数据字典的格式和键值是非常重要的，是预设的，不可以随意改变！
二、信息收集测试
下面，单独运行一下该脚本（注意不是运行CMDB项目），查看一下生成的数据。为了显示更直观，可以通过在线json校验工具格式化一下。
{
os_type': 'Windows',
'os_release': '764bit6.1.7601',
'os_distribution': 'Microsoft',
'asset_type': 'server',
'cpu_count': 1,
'cpu_model': 'Intel(R)Core(TM)i5-2300CPU@2.80GHz',
'cpu_core_count': 4,
'ram': [
{
'slot': 'A0',
'capacity': 4,
'model': 'PhysicalMemory',
'manufacturer': '',
'sn': ''
},
{
'slot': 'A1',
'capacity': 4,
'model': 'PhysicalMemory',
'manufacturer': '',
'sn': ''
}
],
'manufacturer': 'GigabyteTechnologyCo.,
Ltd.',
'model': 'P67X-UD3R-B3',
'wake_up_type': 6,
'sn': '00426-OEM-8992662-12006',
'physical_disk_driver': [
{
'iface_type': 'unknown',
'slot': 0,
'sn': '3830414130423230233235362020202020202020',
'model': 'KINGSTONSV100S264GATADevice',
'manufacturer': '(标准磁盘驱动器)',
'capacity': 59
},
{
'iface_type': 'unknown',
'slot': 1,
'sn': '2020202020202020201020205935334445414235',
'model': 'ST2000DL003-9VT166ATADevice',
'manufacturer': '(标准磁盘驱动器)',
'capacity': 1863
}
],
'nic': [
{
'mac': '24: CF: 92: FF: 48: 34',
'model': '[
00000011
]RealtekRTL8192CUWirelessLAN802.11nUSB2.0NetworkAdapter',
'name': 11,
'ip_address': '192.168.1.100',
'net_mask': ('255.255.255.0',
'64')
},
{
'mac': '0A: 00: 27: 00: 00: 00',
'model': '[
00000013
]VirtualBoxHost-OnlyEthernetAdapter',
'name': 13,
'ip_address': '192.168.56.1',
'net_mask': ('255.255.255.0',
'64')
},
{
'mac': '24: CF: 92: FF: 48: 34',
'model': '[
00000017
]MicrosoftVirtualWiFiMiniportAdapter',
'name': 17,
'ip_address': '',
'net_mask': ''
},
{
'mac': '10: 19: 86: 00: 12: 98',
'model': '[
00000018
]Bluetooth设备(个人区域网)',
'name': 18,
'ip_address': '',
'net_mask': ''
}
]
}上面的信息包含操作系统、主板、CPU、内存、硬盘、网卡等各种信息。可以看到我有两条内存，两块硬盘，以及4块网卡。内存没有获取到sn，但slot是不一样的。硬盘有sn，但接口未知。四块网卡有出现mac地址相同的情况，因为那是虚拟机的。
你的数据和我的肯定不一样，但是数据格式和键值必须一样，我们后面自动分析数据、填充数据，都依靠这个固定格式的数据字典。
通过测试我们发现数据可以收集到了，那么再测试一下数据能否正常发送到服务器。
三、数据发送测试
由于后面我们还会采用Linux虚拟机作为测试用例，所以Django服务器就不能再运行在127.0.0.1:8000上面了。
查看一下当前机器的IP，发现是192.168.0.100，修改项目的settings.py文件，将ALLOWED_HOSTS修改如下：
ALLOWED_HOSTS = ["*"]这表示接收所有同一局域网内的网络访问。
然后以0.0.0.0:8000的参数启动CMDB项目服务器，表示对局域网内所有ip开放服务。
回到客户端，进入Client/bin目录，运行python main.py report_data，可以看到如下结果：
(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至： [http://192.168.0.100:8000/assets/report/] ......
?[31;1m发送失败，错误原因： HTTP Error 404: Not Found?[0m
日志记录成功！这是一个404错误，表示服务器地址没找到，这是因为我们还没有为Django编写接收数据的视图和路由。
这时，打开log目录下的日志文件，内容如下：
发送时间：2019-04-12 10:13:52 服务器地址：http://192.168.0.100:8000/assets/report/ 返回结果：发送失败 错误原因： HTTP Error 404: Not Found四、接收数据
进入cmdb/urls.py文件中，编写一个二级路由，将所有assets相关的数据都转发到assets.urls中，如下所示：
from django.contrib import admin
from django.urls import path
from django.urls import include
urlpatterns = [
path('admin/', admin.site.urls),
path('assets/', include('assets.urls')),
]然后，我们在assets中新建一个urls.py文件，写入下面的代码：
from django.urls import path
from assets import views
app_name = 'assets'
urlpatterns = [
path('report/', views.report, name='report'),
]这样，我们的路由就写好了。
转过头，我们进入assets/views.py文件，写一个简单的视图。
from django.shortcuts import render
from django.shortcuts import HttpResponse
# Create your views here.
def report(request):
if request.method == "POST":
asset_data = request.POST.get('asset_data')
print(asset_data)
return HttpResponse("成功收到数据！")代码很简单，接收POST过来的数据，打印出来，然后返回成功的消息。
重新启动服务器，然后去Client客户端运行python main.py report_data，可以看到：
(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至： [http://192.168.0.100:8000/assets/report/] ......
?[31;1m发送失败，错误原因： HTTP Error 403: Forbidden?[0m
日志记录成功！403就是拒绝服务的错误了。
原因在于我们模拟浏览器发送了一个POST请求给Django，但是请求中没有携带Django需要的csrf安全令牌，所以拒绝了请求。
为了解决这个问题，我们需要在这个report视图上忽略csrf验证，可以通过Django的@csrf_exempt装饰器。修改代码如下：
from django.shortcuts import render
from django.shortcuts import HttpResponse
from django.views.decorators.csrf import csrf_exempt
# Create your views here.
@csrf_exempt
def report(request):
if request.method == "POST":
asset_data = request.POST.get('asset_data')
print(asset_data)
return HttpResponse("成功收到数据！")重启CMDB服务器，再次从客户端报告数据，可以看到返回结果如下：
(venv) D:\work\2019\for_test\CMDB\Client\bin>python main.py report_data
正在将数据发送至： [http://192.168.0.100:8000/assets/report/] ......
?[31;1m发送完毕！?[0m
返回结果：成功收到数据！
日志记录成功！这表明数据发送成功了。
再看Pycharm中，也打印出了接收到的数据，一切OK！
CSRF验证的问题解决了，但是又带来新的安全问题。我们可以通过增加用户名、密码，或者md5验证或者自定义安全令牌的方式解决，这部分内容需要大家自己添加。
Windows下的客户端已经验证完毕了，然后我们就可以通过各种方式让脚本定时运行、收集和报告数据，一切都自动化。