SURT8000XLI Battery issue

[xerox]

UPS sometimes give the warning :  

Critical - UPS: The battery is not installed properly.

followed after few minutes by :

Informational - UPS: The battery is now installed.

Once mains was removed, UPS died immediately !

It has 4 x 8 batteries packs.

Each pack measures 110 to 113 Vdc unloaded (even if an unloaded measure means nothing).

Batteries or UPS fault ?

Any comment/suggestion ?

[Teken]

Based only on the information you provided here it appears the RBC is dead. What is the production date of the RBC vs the battery installation date?!?

The average service life of the Replacement Battery Cartridge (RBC) is 2-5 years. Based on usage, temperature, and environmental factors.

Provide the following logs for better insight: Event, Data, UPS, and a photo of the RBC’s production date sticker / embossed stamp.

Questions Ask . . . 👍 

[xerox]

If you mean the APCRBC140 units, the batteries inside each of them have been replaced more than one time, at interval of 3-4 years.

The last replacement was in 2022.

There are four RBC in this unit, how do they work ? two by two in parallel or four in parallel ?

Can I test the unit with a single or at least a couple of them to evaluate a new total replacement of batteries ?

The thing I'm concerning about, is the way UPS died when I disconnected mains, just as if there were no batteries attached, and no previous indication of low battery level or faulty battery.

Thanks                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

[Teken]

The system is configured to 192 VDC which is two RBC in series. As such each pair must be replaced together (NOT) separately.

The system is hot swappable as such you can easy check if the UPS is fine or not. While on AC Mains remove the primary RBC sets.

The only thing that should happen when you disconnect the two primary RBC is an active fault with alarm. 

If there are external battery packs disconnect them first before you remove the primary RBC pairs from the main unit.

Obviously ensure this is done in a maintenance window so the servers / switches can be gracefully taken down if a hard shut down is seen.

You have not provided any of the information that was asked! ☝️

Questions Ask . .  👍

[xerox]

Thanks

The UPS is on my lab so I'm not worried about any test.

Customer has no logs except the ones about faulty batteries installation.

Few photos:

RBC has stamped 0916 (september 2016 ?)

That's all

[Teken]

As stated if you remove the RBC’s the system should continue to operate is this the case?!?

The RBC date on the cartridge may be either 2009 / 2016 depends when they were purchased as the formatting changed in the past.

Regardless either date is well beyond the 2-5 year service life of the RBC cartridge. If the RBC was rebuilt using the existing cartridge than the date of manufacture of each cell would be taken instead.

Its obviously a moot point because you have already confirmed the system will not operate while on battery only power when AC Mains is removed.

As such replace or rebuild the RBC’S.

Questions Ask . . . 👍 

[xerox]

Yes, the main concern is about the possibillity to have the UPS still not working once batteries have been replaced.

2+2 cartridges giving warnings about their installation status but no alarms about batttery state and UPS dying once main disconnection, without not even few seconds of on-battery work, makes me really think of something wrong on main unit too....

Spend 1K euros for new battery to realize USP has to be repaired, is not really nice..... 

[Teken]

Given how much time has passed it’s obvious this isn’t mission critical for the client.

If it was the system would have been thoroughly tested and validated for service or replaced.

There are basic to advanced tests that can be performed to determine specific areas of concern / fault.

Hot Swap: While the system is running and connected to AC Mains. Disconnect all RBC from the unit what happens?!?

Based on your reply the system did not remain operational and shut down. This would indicate an internal UPS fault - Repair / Replace.

RBC: Measure all of the individual RBC while connected to the system. What are the voltages for each RBC which should be the float voltage above 192 VDC.

Measure each RBC cartridge for 1-7 days the float voltage will remain the same within 0.1 VDC based on ambient temperature.

After three days of steady charging and operations. Disconnect all RBC cartridges from the system one at a time. If the unit shuts down there is an internal system fault / issue as the unit is hot swappable.

If the unit remain operating continue to eject all RBC and measure their initial surface voltage which will be above 96 VDC for each cartridge and write it down.

Follow up in 72 hours and measure / record the voltage for each RBC. After the surface charge has been dissipated there will be less than 0.1-0.3 drop in voltage.

A drop in 1-3 VDC indicates a failed RBC cartridge / individual cell(s). You can disconnect all cells and measure each of them to determine which cell(s) are OK, marginal, failed.

During this phase it will be easy to determine a battery fault. As you will see swelling, bulging, leaking. Any individual cells that are warmer / hotter are faulty.

If your site is so equipped more advanced testing can be performed which spans load testing the RBC / cells based on the temperature and duration as outlined by the battery makers specification data sheet.

Another valuable tool is a conductance tester which allows you to measure the internal resistance of each cell. The internal resistance varies from battery type, chemistry, topology etc. For these sealed lead acid the internal resistance will be 18 ~ 20 mOhms.

A high internal resistance affirms cells that are EOL! Obviously any cells that are found to be shorted / flat indicate a failed cells.

Report back the above basic tests and measurements for review.

LOGS: Download the following logs for review from the NMC: Event, Data, UPS. You may also retrieve the logs via PCBE / PCSS. If the system was reporting to a SysLog Server / NMC you may provide the same here.

Questions Ask . . . 👍