opencv 识别微信登录验证滑动块位置


            目标

识别微信登录新账号，需要拖动滑块验证时，目标块相对于图片的位置

前提相关信息:



  滑块与目标位置的距离是随机的，且在一定范围内，设其最大最小值为[min, max]

  滑块滑到距离目标左右10个单位的误差内也可以通过验证

  每次的滑块验证码有三次重试的机会，如果三次验证不过，微信会自动换验证码

  可以无限次数刷新验证码

  应用机器学习应该能达到出色的识别率，但考虑到时间+学习成本，不采用机器学习的方式



相关图片信息

截图 - 通过android自带的截图工具截取验证的界面，在代码中为screenshot.jpg







三种方案

1.随机拖动

基本思路:

每次验证码的三次重试机会，分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。

若不通过，则刷新验证码，重复上述过程

优点：



  单张验证码通过率下等

  不用截图、下载图片与滑块图

  不需要加入python-opencv层

  因为可以无限重试，试的次数多了就能过



缺点:



  判断的位置是根据min、max推断出来的大致范围

  min、max的值如果变化得很明显，那么程序也要响应修改min与max的值

  



2.根据颜色识别图片目标位置 (我打算采用这个方案)

基本思路:

根据目标位置的颜色的规律性(一般都是灰黑灰黑的)，制定一个颜色范围



从图片中用inRange将图片转换成黑白图，白色部分为原图中符合颜色范围的区域

用findContours找出所有轮廓，根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围

代码实现





# 读取截图

screenshot = cv2.imread('screenshot.jpg')

# 筛选出符合颜色区间的区域

inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))

# 从图中找出所有的轮廓

_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 对所有轮廓做排序，排序依据是每个轮廓包含的点的数量

cnts.sort(key=len, reverse=True)

# 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)

for cnt in cnts[0: 2]:

  xSum = 0

  xCounter = 0

  for position in cnt:

    xCounter += 1

    xSum += position[0][0]

  # 算出所有点的X坐标平均值，并在此基础上做一个60像素的偏移，这个偏移可以根据自己手机进行调整

  x = int(xSum / xCounter - 60)

  # 在截图上画一条红线，表示识别的x坐标位置

  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)

cv2.imshow("screenshot", screenshot)

cv2.waitKey(0)



优点:



  单张验证码通过率中等

  不用下载图片与滑块图

  



缺点:



  判断的位置仍然是大致范围，较第一种随机位置范围精确性有较大提升

  需要加入python-opencv层

  需要截图

  根据滑块识别目标位置



基本思路:

滑块与目标位置的区别在于，目标位置加了一层灰黑色透明前景色，图片处理时先给滑块图片加上相同的灰黑色透明前景色





用处理过的滑块去匹配目标位置

代码实现:





# 读取滑块图片，并给其加上相同的灰黑色透明前景色，再进行灰化

block = cv2.imread('block.jpg')

blockCopy = block.copy()

w, h = block.shape[:-1]

cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)

cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)

block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)

# 读取验证码图片，并灰化

captcha = cv2.imread('captcha.jpg')

captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)

# 寻找captcha中匹配block的位置

res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)

min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

# 在最符合的画一个矩形

cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)

cv2.imshow('block', block)

cv2.imshow("captcha", captcha)

cv2.waitKey(0);



优点:



  单张验证码通过率高

  如果判断成功，位置一般很精确



缺点:



  需要加入python-opencv层

  需要下载原图、滑块图(原图、滑块图的下载还没研究)

  判断不成功的时候，判断的位置一般偏离目标位置较大



总结

三种方案中第二种拥有不错的验证率，且较第三种只需要对验证界面进行截图，开发较容易。

综上所述，第二种方案是我认为较好的方法。